Ingénieur en Big Data

L'équipe

Chez Kaizen, notre objectif est de prendre des décisions basées sur les données afin d'automatiser nos services tout en nous concentrant également sur l'offre d'expériences client personnalisées. Notre équipe d'apprentissage automatique est dédiée à cette mission en construisant une variété de modèles, allant des tâches de classification binaire aux systèmes de recommandation. Nous nous concentrons sur la transformation des besoins commerciaux en applications de production et nous couvrons un large éventail de secteurs d'activité en utilisant différents types de données et en gérant une grande diversité de projets.

Nos équipes sont composées de trois différents rôles, les data scientists, les ingénieurs en apprentissage automatique et les ingénieurs de données, afin d'inclure toutes les compétences nécessaires pour mener à bien les projets jusqu'à la production.

Le rôle

Nous recherchons des ingénieurs de données passionnés et ambitieux capables de trouver des solutions créatives à des problèmes complexes. Le rôle fera partie d'une équipe d'apprentissage automatique et travaillera sur la mise en place de pipelines de données/caractéristiques optimisés dans des projets individuels ainsi que dans notre infrastructure principale dans le magasin de caractéristiques.

Responsabilités :

• Concevoir, mettre en œuvre et exploiter des structures de données à grande échelle, à haut volume et à haute performance ;
• Travailler en étroite collaboration avec les data scientists pour optimiser les requêtes de données aussi bien pour les sources en temps réel que pour les lots ;
• Concevoir des architectures de big data en mettant l'accent sur la scalabilité et la performance pour les problèmes de science des données ;
• Soutenir les développements dans notre infrastructure de génération de caractéristiques en temps réel.

Exigences

Indispensable :

• 3+ années d'expérience avec Spark Core ;
• Expérience pratique avec Spark structured streaming ;
• 3+ années d'expérience pratique dans l'écriture de requêtes SQL complexes et hautement optimisées sur de grands ensembles de données ;
• 3-5 années d'expérience en programmation Python ;
• Expérience avec les moteurs de workflow comme airflow ;
• Fortes compétences en travail d'équipe, communication et pensée analytique ;
• Connaissance des outils de contrôle de version ;
• Maîtrise de l'anglais, à l'oral et à l'écrit.

Serait un plus :

• Expérience avec Azure / Databricks ;
• Expérience avec le génie des caractéristiques ;
• Expérience avec la conception et la mise en œuvre de magasins de caractéristiques ;
• Expérience avec le delta lake ;
• Expérience avec Redis ;
• Expérience avec KAFKA ;
• Expérience avec les bases de données SQL et NoSQL.