Ingénieur de Backline - Spark

CSQ125R2

Mission

En tant qu'Ingénieur de Solutions Techniques en Backline, vous aiderez nos clients à réussir avec la plateforme Databricks en résolvant d'importantes escalades techniques des clients et de l'équipe de support. Vous serez le pont technique entre le support et l'ingénierie et la première ligne de défense pour l'ingénierie. Vous vous assurerez que toutes les problèmes sont examinées par vous avant d'atteindre l'équipe d'ingénierie. Vous reporterez au Directeur/Chef Tech de l'équipe d'Escalades Backline.

Résultats

• Dépanner, résoudre et suggérer une analyse approfondie du code de Spark pour adresser des problèmes clients complexes liés aux internes de Spark core, Spark SQL, Structured Streaming et Databricks Delta.
• Fournir des orientations sur les meilleures pratiques concernant les performances de Spark en temps réel et l'utilisation des bibliothèques et des API de Spark core pour les solutions personnalisées développées par les clients de Databricks.
• Aider l'équipe de support avec des guides de dépannage détaillés et des runbooks.
• Contribuer à l'automatisation et aux programmes d'outils pour rendre le dépannage quotidien efficace.
• Travailler avec l'équipe d'ingénierie de Spark et sensibiliser aux futures fonctionnalités et versions.
• Identifier les bugs de Spark et suggérer des solutions de contournement possibles.
• Démontrer la propriété et coordonner avec les équipes d'ingénierie et d'escalades pour parvenir à la résolution des problèmes et des demandes des clients
• Participer à la rotation des gardes de week-end et de semaine.

Compétences

• Minimum de 6 ans d'expérience en développement, test, et maintenance d'applications basées sur Python ou Java ou Scala.
• A l'aise avec la compilation, la construction et la navigation dans le code source Apache Spark.
• A l'aise pour identifier et appliquer des patches/correctifs de bugs au code source Apache Spark.
• Expérience dans les pipelines de données Big Data/Hadoop/Spark/Kafka/Elasticsearch.
• Expérience pratique avec les systèmes de base de données basés sur SQL.
• Expérience en JVM, GC, dépannage basé sur Thread dump est requise.
• Expérience avec les services liés à AWS ou Azure.
• Un diplôme de baccalauréat en informatique ou dans un domaine connexe est requis.