Ingénieur Principal de Données

#notreequipeunique

Chez Kaizen, notre engagement envers la valeur inégalée des données guide toutes les décisions que nous prenons. Nous envisageons une transition vers une architecture de Data Mesh en partant de notre robuste architecture Lake House. Cette approche met l'accent sur le traitement des données comme un produit avec des contrats bien définis, une propriété distribuée et un design orienté domaine.

Alors que nous cherchons à améliorer davantage notre plateforme de données, nous nous concentrons sur la démocratisation des données, la gouvernance et l'observabilité. Le scénario idéal ? Avoir chaque morceau de données parfaitement accessible, surveillé et réglementé.

Notre équipe Plateforme de Données est bien préparée pour diriger cette transition, championne de la conception et de l'expansion des produits de données de nouvelle génération. En rejoignant notre équipe, vous ferez partie d'une initiative qui positionne Kaizen à l'avant-garde de l'innovation basée sur les données.

#notremission

Notre infrastructure Lake House a été un pilier fondamental, soutenant sans faille une cohorte diversifiée allant de la BI, la science des données et le ML à nos équipes de produits innovantes. Alors que nous naviguons vers la prochaine frontière caractérisée par les produits de données et les informations d'un paradigme de Data Mesh, nous anticipons des résultats transformateurs. Au cœur de notre mission, nous nous efforçons d'assurer la fiabilité de nos pipelines, la flexibilité de notre infrastructure et la rigueur de nos conceptions, tout en maintenant les normes les plus élevées de gouvernance des données.

En nous lançant dans cette trajectoire ambitieuse, nous recherchons des ingénieurs en données maîtrisant les donnees ops, avec un sens aigu des meilleures pratiques d'ingénierie logicielle et une mentalité orientée produit. Un rôle clé pour notre équipe est d'architecturer et de créer des outils utilitaires qui abstraient la complexité. Ce faisant, nous fournissons à d'autres équipes des solutions plug-and-play, les libérant des détails techniques et réduisant la charge cognitive.

De plus, l'expertise reconnue de Kaizen en matière de calcul distribué est prête à être exploitée, démontrant notre dévouement sans relâche à promouvoir une culture centrée sur les données dans toute l'entreprise.

#notreTechStack

Spark, Scala, Python, Azure Databricks, Delta, Apache Airflow, Azure DevOps, Terraform Grafana et plus encore

Responsabilités:

• Contribuer au développement d'une plateforme de données évolutive et sécurisée alignée sur le paradigme du Data Mesh;
• Concevoir, implémenter et améliorer les outils et services pour l'orchestration, l'observabilité, la gouvernance des données et la qualité des données selon des normes d'ingénierie élevées
• Déployer et gérer nos produits en utilisant les meilleures pratiques de CI/CD dans le cadre de la culture 'tu le construis, tu le gères'
• Restez à jour sur les technologies émergentes, les méthodologies et les meilleures pratiques de l'industrie pour garantir l'amélioration continue de la plateforme de données
• Promouvoir une culture de la documentation, où la documentation technique vit avec nos produits et garantit qu'ils sont faciles à utiliser et à entretenir

Exigences:

• Compétence Spark : Connaissance démontrée d'Apache Spark, avec la capacité d'écrire et d'optimiser un code efficace pour les tâches de traitement des données.
• Ingénierie logicielle : Solide expérience en ingénierie logicielle, capable de concevoir, d'écrire et de déployer un code de production qui s'aligne sur notre vision centrée sur les données.
• Expertise de pipeline de données : Expérience pratique avec des frameworks d'orchestration de pipeline de données, garantissant un flux de données fluide et une intégration à travers différentes sources et plateformes.
• Familiarité avec DevOps et DataOps : Expérience pratique en DevOps, avec une préférence pour les candidats familiers avec les pratiques DataOps, garantissant une intégration continue, une livraison et des opérations de données efficaces.
• Solutions de données de bout en bout : Compétence dans la conception, la planification et la livraison de pipelines de données complets, de la source et l'ingestion au traitement et à la fourniture.
• Évaluation de la technologie : Un esprit curieux, avec la capacité de comprendre, d'évaluer et potentiellement d'intégrer de nouvelles technologies qui peuvent faire avancer l'approche basée sur les données de Kaizen.
• Gouvernance et sécurité des données : Une compréhension de l'importance de la gouvernance des données, avec un accent sur la garantie que les actifs de données sont protégés, accessibles et conformes aux normes réglementaires.