Architecte de moteur de requêtes - Apache Spark accéléré

Nous recherchons un architecte de moteur de requêtes expérimenté pour accélérer Apache Spark et les frameworks associés sur les GPU. Nvidia, leader mondial du calcul accéléré, construit la prochaine génération d'écosystèmes de traitement des données. Apache Spark est le moteur de traitement de données distribuées le plus populaire dans les centres de données. Il est utilisé pour une grande variété de charges de travail, de la préparation des données, la génération de caractéristiques, la création de rapports, l'analytique et plus encore. Les scientifiques des données passent beaucoup de temps à explorer les données et à itérer sur les expériences d'apprentissage automatique (ML). Chaque heure de calcul nécessaire pour trier les ensembles de données, extraire des caractéristiques et ajuster les algorithmes de ML entrave un flux de travail commercial efficace.

Chez NVIDIA, nous sommes passionnés par le travail sur des problèmes difficiles qui ont un impact. Vous travaillerez avec la communauté open source pour permettre le traitement de données Apache Spark avec les GPU. Les flux de travail des données peuvent bénéficier énormément de l'accélération, permettant aux scientifiques des données d'explorer de nombreuses ensembles de données plus importants pour atteindre leurs objectifs commerciaux, plus rapidement et plus efficacement.

Ce que vous ferez :

• Dirigez l'effort d'optimisation des requêtes de l'équipe RAPIDS Spark.

• Examinez chaque étape du traitement des requêtes et identifiez les domaines pour l'optimisation du plan logique et du plan physique. Construisez l'optimisation des plans en tenant compte des ressources matérielles CPU / GPU.

• Trouvez des opportunités pour une exécution de requête adaptative qui est consciente des ressources, par exemple, s'adaptant en fonction des caractéristiques du CPU ou du GPU

• Identifiez où la fusion des opérateurs pourrait améliorer les performances

• Examinez les pratiques du moteur de traitement columnaire et voyez comment elles pourraient être appliquées au traitement columnaire basé sur GPU

• Engagez les communautés open source, y compris Apache Spark et RAPIDS, pour des discussions techniques et des contributions

• Travaillez avec des partenaires stratégiques Nvidia pour déployer des solutions de traitement de données accélérées dans le cloud public ou sur des clusters sur site

• Présentez des solutions techniques lors de conférences industrielles et de meetups

Ce que nous devons voir :

• BS, MS ou PhD en informatique, ingénierie informatique ou expérience équivalente

• 15+ années d'expérience de travail ou de recherche dans le développement de logiciels

• 5+ années de travail avec des projets open source clés de big data en tant que contributeur ou commiteur, y compris Apache Spark, Apache Hadoop, Apache Hive, Apache Flink, Apache Impala, Apache Drill, Apache Calcite et Substrait

• Compétences techniques exceptionnelles dans la création et la mise en œuvre de systèmes distribués de haute qualité

• Expertise approfondie dans les moteurs de requêtes de base de données et l'optimisation des requêtes

• Excellentes compétences en programmation en C++, Java et/ou Scala

• Connaissance des planificateurs de systèmes distribués : Kubernetes, Hadoop YARN, Spark autonomes et/ou Mesos

• Capacité à travailler avec des équipes multifonctionnelles à travers les frontières et les géographies

• Fortement motivé avec d'excellentes compétences interpersonnelles

Comment se démarquer de la foule :

• Contributions à des projets open source majeurs tels qu'Apache Spark, Apache Hive, Apache Impala, Apache Drill, Substrait, Apache Calcite.

• Expérience de travail avec des bibliothèques d'accélération (CUDA, RAPIDS, UCX)

• Expérience ML/DL de base avec Spark ML et XGBoost

Nous sommes largement considérés comme l'un des employeurs les plus recherchés du monde de la technologie, et à ce titre nous avons certaines des personnes les plus visionnaires et les plus travailleuses du monde à notre service. Si vous êtes passionné, créatif et motivé, nous aimerions vous avoir dans l'équipe. Avec des salaires compétitifs et un généreux package de prestations, nous sommes largement considérés comme l'un des employeurs les plus recherchés du monde de la technologie. Nous avons certaines des personnes les plus visionnaires et les plus travailleuses du monde à notre service et, en raison d'une croissance sans précédent, nos équipes d'ingénierie exclusives sont en pleine expansion. Si vous êtes un ingénieur créatif et autonome avec une véritable passion pour la technologie, nous voulons entendre parler de vous.

La fourchette salariale de base est de 268 000 USD à 414 000 USD. Votre salaire de base sera déterminé en fonction de votre lieu de résidence, de votre expérience et du salaire des employés occupant des postes similaires.