Ingénieur Senior en Big Data

#notreequipe

Chez Kaizen, notre engagement envers la valeur inégalée des données guide chaque décision que nous prenons. En élargissant notre solide architecture Lake House, nous envisageons un changement transformateur vers une architecture de Data Mesh. Cette approche met l'accent sur le traitement des données comme un produit avec des contrats bien définis, une propriété distribuée et une conception orientée domaine.

Alors que nous cherchons à améliorer encore notre plateforme de données, nous nous concentrons fortement sur la démocratisation des données, la gouvernance et l'observabilité. Le scénario idéal ? Avoir chaque morceau de données parfaitement accessible, surveillé et régi.

Notre équipe Plateforme de Données est bien préparée pour mener cette transition, en championnant la conception et l'expansion des produits de données de nouvelle génération. En rejoignant notre équipe, vous ferez partie d'une initiative positionnant Kaizen à l'avant-garde de l'innovation basée sur les données.

#notremission

Notre infrastructure Lake House a été un pilier fondamental, soutenant sans problème une cohorte diversifiée allant de la BI, Data Science et ML à nos équipes de produits innovants. Alors que nous nous dirigeons vers la prochaine frontière caractérisée par les produits de données et les perspectives d'un paradigme de Data Mesh, nous anticipons des résultats transformateurs. Au cœur de notre mission, nous nous efforçons d'assurer la solidité de nos pipelines, la souplesse de notre infrastructure et le soin apporté à nos conceptions, tout en respectant les normes les plus élevées de gouvernance des données.

Lors de cette trajectoire ambitieuse, nous recherchons des ingénieurs de données ayant une bonne connaissance des opérations de données, avec un sens aigu des meilleures pratiques d'ingénierie logicielle et une mentalité orientée produit. Un rôle clé pour notre équipe est d'architecturer et de fabriquer des outils utilitaires qui simplifient la complexité. Ce faisant, nous fournissons à d'autres équipes des solutions prêtes à l'emploi, les soulageant des détails techniques et réduisant la charge cognitive.

L'engagement de Kaizen va encore plus loin grâce à son expertise avérée en calcul distribué. Ce référentiel de connaissances est prêt à être exploité, témoignant de notre dévouement inébranlable à favoriser une culture centrée sur les données à travers l'entreprise.

#notreTechStack

Spark, Scala, Python, Azure Databricks, Delta, Apache Airflow, Azure DevOps, Terraform Grafana et plus encore

Responsabilités :

• Contribuer au développement d'une plateforme de données évolutive et sécurisée, en accord avec le paradigme du Data Mesh ;
• Concevoir, mettre en œuvre et améliorer les outils et les services pour l'orchestration, l'observabilité, la gouvernance des données et la qualité des données selon des normes d'ingénierie élevées
• Déployer et gérer nos produits en utilisant les meilleures pratiques de CI/CD en suivant la culture 'vous le construisez, vous le gérez'
• Rester à jour sur les technologies émergentes, les méthodologies et les meilleures pratiques de l'industrie pour assurer l'amélioration continue de la plateforme de données
• Favoriser une culture de documentation, où la documentation technique vit avec nos produits et garantit qu'ils sont faciles à utiliser et à maintenir

Exigences :

• Compétence Spark : Connaissance démontrée d'Apache Spark, avec la capacité d'écrire et d'optimiser un code efficace pour les tâches de traitement des données.
• Ingénierie logicielle : Solide expérience en ingénierie logicielle, capable de concevoir, d'écrire et de déployer un code de qualité de production qui s'aligne sur notre vision axée sur les données.
• Expertise en pipelines de données : Expérience pratique avec les frameworks d'orchestration des pipelines de données, garantissant un flux de données fluide et une intégration entre différentes sources et plateformes.
• Familiarité avec DevOps et DataOps : Expérience pratique en DevOps, avec une préférence pour les candidats familiarisés avec les pratiques de DataOps, garantissant une intégration continue, une livraison et des opérations de données efficaces.
• Solutions de données de bout en bout : Compétence dans la conception, la planification et la livraison de pipelines de données complets, de la source et l'ingestion au traitement et à la fourniture.
• Évaluation de la technologie : Un esprit curieux, avec la capacité de comprendre, d'évaluer et potentiellement d'intégrer de nouvelles technologies qui peuvent faire avancer l'approche basée sur les données de Kaizen.
• Gouvernance et sécurité des données : Compréhension de l'importance de la gouvernance des données, avec un accent sur la garantie que les actifs de données sont protégés, accessibles et conformes aux normes réglementaires.