Développeur Senior Databricks

Le développeur senior Databricks sera responsable de la mise en œuvre et de la maintenance des solutions sur la plateforme AWS Databricks. Vous serez en charge de coordonner les demandes de données des différentes équipes, de revoir et d'approuver des approches efficaces pour ingérer, extraire, transformer et maintenir les données dans un modèle multi-sauts. De plus, vous travaillerez avec les membres de l'équipe pour encadrer d'autres développeurs afin d'accroître leurs connaissances et leur expertise. Vous travaillerez dans un environnement à rythme rapide et à volume de traitement élevé, où la qualité et le souci du détail sont essentiels.
 
RESPONSABILITÉS PRINCIPALES
•    Concevoir et développer des solutions Databricks à haute performance et sécurisées à l'aide de Python, Spark, PySpark, tableaux Delta, UDP et Kafka
•    Créer des documents techniques de haute qualité, y compris, la cartographie des données, les processus de données et les guides de support opérationnel
•    Traduire les exigences commerciales en modèles de données et solutions techniques
•    Développer des pipelines d'ingestion de données à l'aide de Python, Spark & PySpark pour prendre en charge des processus d'ingestion en temps quasi-réel et par lots
•    Maintenir les processus du lac de données et du pipeline. Cela inclut la résolution des problèmes, le réglage des performances et l'amélioration de la qualité des données
•    Collaborer étroitement avec les leaders techniques, les chefs de produit et l'équipe de rapport pour recueillir les exigences fonctionnelles et système
•    Travailler dans un environnement à rythme rapide et se comporter efficacement dans un environnement de développement agile
CONNAISSANCES ET COMPÉTENCES REQUISES
•    Baccalauréat en Informatique ou Systèmes d'Information ou diplôme équivalent
•    Au moins 8 ans d'expérience dans le développement d'applications à l'aide de Python, Spark, PySpark, Java, Junit, Maven et son écosystème sont nécessaires
•    Au moins 4 ans d'expérience pratique en AWS Databricks et technologies connexes, telles que MapReduce, Spark, Hive, Parquet et AVRO sont nécessaires
•    Bonne expérience dans la mise en œuvre complète des projets DW BI, en particulier dans le développement d'entrepôts de données et de data mart
•    Expérience approfondie avec les opérations RDD, Data frame et Dataset de Spark 3.x
•    Expérience avec la conception et la mise en œuvre de frameworks ETL/ELT pour d'importants entrepôts/marts. 
•    Connaissance des grands ensembles de données et expérience en matière d'optimisation des performances et de dépannage
•    Plus à avoir une expérience AWS Cloud Analytics avec Lambda, Athena, S3, EMR, Redshift, spectre Redshift
•    Connaissance obligatoire des RDBMS : SQL Server de Microsoft, Oracle, MySQL
•    Familiarité avec le système d'exploitation Linux
•    Compréhension de l'architecture des données, de la réplication et de l'administration
•    Expérience en travaillant avec l'ingestion de données en temps réel avec un outil de diffusion en direct
•    Solides capacités de débogage pour résoudre les problèmes de production
•    A l'aise pour travailler en équipe
•    Expérience pratique avec Shell Scripting, Java et SQL
•    Capacité à identifier les problèmes et à communiquer efficacement les solutions à ses pairs et à la direction

Labcorp est fière d'être un employeur qui respecte l'égalité des chances:

En tant qu'employeur EOE/AA, Labcorp s'efforce de promouvoir la diversité et l'inclusion sur le lieu de travail et ne tolère aucun harcèlement ou discrimination de quelque sorte que ce soit. Nous prenons des décisions d'emploi basées sur les besoins de notre entreprise et les qualifications de l'individu et ne faisons pas de discrimination sur la base de la race, de la religion, de la couleur, de l'origine nationale, du sexe (y compris la grossesse ou d'autres conditions/problèmes médicaux), du statut familial ou parental, du statut martial, de l'union civile ou du statut de partenaire domestique, de l'orientation sexuelle, de l'identité de genre, de l'expression de genre, de l'apparence personnelle, de l'âge, du statut de vétéran, du handicap, de l'information génétique, ou de toute autre caractéristique protégée légalement. Nous encourageons tout le monde à postuler.

Pour plus d'informations sur la manière dont nous collectons et stockons vos données personnelles, veuillez consulter notre Politique de confidentialité.