Mid-Level Databricks Data Engineer

• Concevoir, développer et mettre en œuvre des pipelines de traitement de données en utilisant Spark dans les notebooks Databricks.
• Optimiser les flux de travail des données pour la performance, l'évolutivité et la fiabilité.
• Collaborer avec les data scientists et analystes pour comprendre les exigences de données et fournir des informations exploitables.
• Assurer la conformité avec les règles de gouvernance et de sécurité des données.
• Incorporer des compétences fondamentales en gestion des données, y compris la gouvernance des données, la sécurité des données et la qualité des données.
• Travailler de manière interfonctionnelle pour comprendre les opportunités de données et construire des pipelines et des dictionnaires pour les sources de données potentielles.
• Assurer la qualité des données grâce à l'automatisation des tests et des audits.
• Expérience dans les pipelines CI/CD en utilisant Jenkins.
• Gérer les dépôts de code et le contrôle de version en utilisant Bitbucket.

• Maîtrise de Databricks et des bases d'AWS.
• Familiarité avec la science des données, l'intelligence d'affaires et l'analyse des données.
• Connaissance de l'intégration des données, de l'entreposage des données, de la modélisation et des tactiques et concepts de présentation.
• Maîtrise de Power BI, y compris la visualisation des données et les bases de données relationnelles.
• Expérience en transformation des données et des processus ETL.
• Solide compréhension des principes de modélisation des données tels que la modélisation dimensionnelle et les principes de normalisation des données.
• Maîtrise de Python et SQL.
• Expérience avec Jenkins pour l'intégration et la livraison continues.
• Familiarité avec Bitbucket pour l'hébergement de code et la collaboration.

Expérience recommandée : 2+ années d'expérience pratique dans la réalisation des tâches d'ingénierie des données mentionnées.

Informations supplémentaires :

Nom de l'entreprise : Adidas

Intitulé du poste : Ingénieur de données Databricks de niveau intermédiaire