Ingeniero de Software Senior de Sistemas - Rendimiento - Apache Spark Acelerado

Estamos buscando Ingenieros de Software de Sistema experimentados en Apache Spark para unirse a nuestro equipo y ayudar a impulsar la innovación para el procesamiento de datos acelerado en GPUs. Dado que Nvidia lidera el mundo en computación acelerada, estamos construyendo el ecosistema de procesamiento de datos de próxima generación. Los científicos de datos dedican una cantidad considerable de tiempo a explorar datos y a iterar sobre experimentos de aprendizaje automático (ML, por sus siglas en inglés). Cada hora de cálculo requerida para ordenar conjuntos de datos, extraer características y ajustar algoritmos de ML impide un flujo de trabajo comercial eficiente. Nvidia cree que los flujos de trabajo de ciencia de datos pueden beneficiarse enormemente de ser acelerados, para permitir que los científicos de datos exploren muchos más conjuntos de datos más grandes para avanzar hacia sus objetivos comerciales, de manera más rápida y eficiente.

En NVIDIA, nos apasiona trabajar en problemas difíciles que tienen impacto. Necesitarás tener experiencia previa trabajando con aplicaciones Apache Spark, implementando aplicaciones de big data para una variedad de clientes, habilidades de programación y familiaridad con marcos de trabajo de procesamiento de big data de código abierto. Trabajarás con un equipo de ingeniería acelerando Apache Spark con GPUs usando CUDA y bibliotecas de código abierto. Esta es una inversión estratégica para Nvidia. El código está siendo adoptado por varios proveedores de servicios en la nube y distribuciones de Apache Spark. A medida que Nvidia lidera el camino en la provision del centro de datos del futuro con una plataforma superchip de CPU-GPU, acelerar el procesamiento de datos será una necesidad para todas las empresas.

Qué estarás haciendo:

• Escalar la aceleración de Apache Spark para GPUs de gama alta y con la nueva plataforma superchip Grace Hopper

• Trabajar con clientes y socios seleccionados para hacer que las aplicaciones de Apache Spark estén aceleradas con GPUs en entornos locales y en la nube

• Benchmarking y optimizar cargas de trabajo de Apache Spark en GPUs para rendimiento acelerado

• Construir herramientas para analizar cargas de trabajo de procesamiento de datos para identificar oportunidades de aceleración y ahorro de costos

• Ayudar a definir una arquitectura de referencia para la próxima generación de computación en la nube

• Trabajar con los principales proveedores de servicios en la nube y proveedores de Spark a nivel mundial para habilitar la computación acelerada para casos de uso de procesamiento de datos

Qué necesitamos ver:

• 8+ años de experiencia en desarrollo de software, con la mayoría en procesamiento de datos

• 3+ años de experiencia práctica en diseño y desarrollo de aplicaciones Apache Spark

• BS/MS/PhD en ciencias de la computación o un campo relacionado

• Familiaridad con el ecosistema de código abierto de datos modernos (Apache Hadoop, Flink, Presto, Hive, Kafka, TensorFlow, PyTorch etc)

• Profundo entendimiento de optimización de rendimiento en ambientes de bajo nivel

• Experiencia en la escritura de software distribuido de alto rendimiento a gran escala

• Experiencia trabajando en plataformas de nube públicas y privadas

• Experiencia previa en el apoyo a clientes empresariales

• Conocimiento de SQL, Python y Scala/Java

• Excelencia en comunicación, presentación y explicación de temas técnicos

Formas de destacar entre la multitud:

• Familiaridad con RAPIDS y UCX

• Experiencia con optimizaciones de rendimiento en CSPs para casos de uso de big data

• Entendimiento y experiencia en opciones de configuración de hardware en cuanto a rendimiento y costo

• Experiencia trabajando con y desarrollando en GPUs

Se nos considera ampliamente uno de los empleadores más deseables del mundo tecnológico, y como resultado tenemos a algunas de las personas más innovadoras y trabajadoras del mundo trabajando para nosotros. Si eres apasionado, creativo y motivado, nos encantaría que te unieras al equipo. Con salarios competitivos y un generoso paquete de beneficios, somos ampliamente considerados como uno de los empleadores más deseables del mundo tecnológico. Tenemos a algunas de las personas más innovadoras y trabajadoras del mundo trabajando para nosotros y, debido al crecimiento sin precedentes, nuestros equipos exclusivos de ingeniería están creciendo rápidamente. Si eres un ingeniero creativo y autónomo con una verdadera pasión por la tecnología, queremos escuchar de ti.

El rango de salario base es de 216,000 USD - 333,500 USD. Tu salario base será determinado con base en tu ubicación, experiencia y el pago de empleados en posiciones similares.