Arquitecto de Motor de Consultas - Acelerado Apache Spark

Estamos buscando un Arquitecto de Motor de Consulta con experiencia para acelerar Apache Spark y marcos relacionados en GPUs. Como Nvidia lidera el mundo en la computación acelerada, estamos construyendo la próxima generación del ecosistema de procesamiento de datos. Apache Spark es el motor de procesamiento de datos distribuidos más popular en los centros de datos. Se utiliza para una gran variedad de cargas de trabajo, desde la preparación de datos, la generación de características, los informes, análisis y más. Los científicos de datos pasan una cantidad considerable de tiempo explorando datos e iterando en experimentos de aprendizaje automático (ML). Cada hora de cálculo necesaria para clasificar conjuntos de datos, extraer características y ajustar algoritmos de ML obstaculiza un flujo de trabajo de negocio eficiente.

En NVIDIA, nos apasiona trabajar en problemas difíciles que tienen un impacto. Trabajarás con la comunidad de código abierto para habilitar el procesamiento de datos de Apache Spark con GPUs. Los flujos de trabajo de datos pueden beneficiarse enormemente de ser acelerados, lo que permite a los científicos de datos explorar muchos más y mayores conjuntos de datos para alcanzar sus objetivos de negocio, de manera más rápida y eficiente.

Lo que estarás haciendo:

• Dirigir el esfuerzo de optimización de consultas en el equipo de RAPIDS Spark.

• Revisar cada etapa del procesamiento de consulta e identificar áreas para la optimización del plan lógico y físico. Construir optimización de planes teniendo en cuenta los recursos de hardware de CPU / GPU.

• Buscar oportunidades para la ejecución de consultas adaptativas que sean conscientes de los recursos, por ejemplo, adaptándose en función de las características de la CPU o GPU

• Identificar donde la fusión de operadores podría impulsar un mejor rendimiento

• Revisar las prácticas del motor de procesamiento columnar y ver cómo podrían aplicarse al procesamiento columnar basado en GPU

• Participar en las comunidades de código abierto, incluyendo Apache Spark y RAPIDS, para discusiones técnicas y contribuciones

• Trabajar con socios estratégicos de Nvidia para implementar soluciones de procesamiento de datos acelerado en la nube pública o en clusters locales

• Presentar soluciones técnicas en conferencias de la industria y encuentros

Lo que necesitamos ver:

• BS, MS, o PhD en Ciencias de la Computación, Ingeniería Informática, o experiencia equivalente

• +15 años de experiencia laboral o de investigación en desarrollo de software

• +5 años trabajando con proyectos de big-data de código abierto como contribuidor o comprometedor, incluyendo Apache Spark, Apache Hadoop, Apache Hive, Apache Flink, Apache Impala, Apache Drill, Apache Calcite, y Substrait

• Excepcionales habilidades técnicas en la elaboración e implementación de sistemas distribuidos de alta calidad

• Profunda experiencia en motores de consulta de bases de datos y optimización de consultas

• Excelentes habilidades de programación en C++, Java, y/o Scala

• Conocimiento de los programadores de sistemas distribuidos: Kubernetes, Hadoop YARN, Spark standalone, y/o Mesos

• Capacidad para trabajar con equipos multifuncionales a través de fronteras y geografías

• Altamente motivado con fuertes habilidades interpersonales

Formas de destacar entre la multitud:

• Contribuciones a proyectos de código abierto importantes como Apache Spark, Apache Hive, Apache Impala, Apache Drill, Substrait, Apache Calcite.

• Experiencia laboral con bibliotecas de aceleración (CUDA, RAPIDS, UCX)

• Experiencia básica de ML/DL con Spark ML y XGBoost

Se nos considera ampliamente como uno de los empleadores más deseados del mundo tecnológico, y como resultado tenemos a algunas de las personas más innovadoras y trabajadoras del mundo trabajando para nosotros. Si eres apasionado, creativo y motivado, nos encantaría que te unieras al equipo. Con salarios competitivos y un paquete de beneficios generoso, se nos considera ampliamente como uno de los empleadores más deseados del mundo tecnológico. Tenemos a algunas de las personas más innovadoras y trabajadoras del mundo trabajando para nosotros y, debido a un crecimiento sin precedentes, nuestros equipos de ingeniería exclusivos están creciendo rápidamente. Si eres un ingeniero creativo y autónomo con verdadera pasión por la tecnología, queremos saber de ti.

El rango de salario base es de 268,000 USD - 414,000 USD. Tu salario base será determinado en base a tu ubicación, experiencia y el pago de los empleados en posiciones similares.