Ingénieur en Big Data

Ingénieur en Big Data

Kaizen Analytix LLC, une entreprise de produits et de services d'analyse qui offre aux clients une valeur sans égal grâce à des solutions d'analyse et des informations commerciales exploitables, recherche des candidats qualifiés pour le poste d'ingénieur en Big Data. Ce poste est réservé aux professionnels hautement qualifiés et expérimentés, responsables de la conception, du développement et de la maintenance des pipelines de données et des entrepôts de données en utilisant l'écosystème Hadoop, y compris HDFS, Spark, Hive, HBase, Sqoop, Pig, Oozie ou leurs équivalents cloud tels que AWS EMR, GCP Dataproc, Azure HDInsigts. Le candidat idéal aura une solide compréhension des principes et des meilleures pratiques de l'ingénierie des données, ainsi qu'une expérience de travail avec des ensembles de données massifs.

Responsabilités :

Analyse et Design

• Effectue des sessions de collecte de faits avec les utilisateurs.
• Consulte les directeurs techniques et les propriétaires d'entreprises pour identifier et analyser les besoins et les problèmes technologiques.
• Réalise des schémas de flux de données et/ou de modélisation des processus (architecture de code).
• Conçoit, développe et maintient des pipelines de données et des entrepôts de données sur les plateformes cloud souhaitées (par exemple, AWS, GCP, Azure).
• Travaille avec les parties prenantes pour recueillir les exigences et définir les modèles de données.
• Développe et déploie des pipelines de données sur la plateforme Cloud en utilisant des outils et des services de big data.
• Met en œuvre des contrôles de qualité des données et une surveillance.
• Résout les problèmes de données et les problèmes de performance.
• Travaille avec d'autres ingénieurs pour développer et maintenir l'infrastructure de données de l'entreprise.
• Se tient au courant des dernières technologies et tendances en matière d'ingénierie des données.

Alignement stratégique

• Travaille avec les autres membres de l'équipe technique pour améliorer continuellement les stratégies de mise en œuvre, les normes de développement et d'autres processus et documentations du département.
• Fournit une assistance technique et un mentorat aux ingénieurs en données de niveau inférieur.
• Communique régulièrement ses plans, son statut et ses problèmes à la direction.

• Respecte les normes, politiques, procédures du département et les meilleures pratiques de l'industrie.

Exigences du poste :

• Diplôme de licence/master en informatique, systèmes d'information, ou un domaine connexe
• Plus de 4 ans d'expérience en ingénierie des données et outils de big data
• Expérience dans tout projet de migration impliquant une entreposage de données, une migration de bases de données d'une technologie à une autre.
• Bonne maîtrise de la programmation Scala/Java pour le développement de scripts ETL.
• Bonne connaissance des principes et des meilleures pratiques de l'ingénierie des données.
• Bonne connaissance de la mise en œuvre de Spark à l'aide de Scala/Java.
• Très bonnes compétences en Map Reduce, les formats de fichiers big data, le partitionnement, la maintenance des réplicas, les techniques de compression.
• Expérience avec toute plateforme cloud et leurs offres d'outils Hadoop telles que Google Cloud Platform - Dataproc, Cloud Dataflow, et Cloud Data Fusion, AWS Elastic Map-Reduce.
• Expérience avec la modélisation des données et l'entrepôt de données
• Expérience avec les contrôles de qualité des données et la surveillance
• Doit être au courant des pipelines CI/CD et bien connaître l'utilisation d'outils tels que Jenkins, Cloud Build, et TeamCity pour créer les pipelines nécessaires pour le CI/CD.
• Faire preuve d'initiative et proposer des solutions et des solutions de contournement ; être prêt à travailler selon des délais stricts.
• Capacité à résoudre les principaux problèmes d'implémentation des clients et à conduire à une résolution réussie.
• Capacité à travailler en partenariat avec les architectes de domaine pour développer l'architecture de solution de bout en bout, y compris les domaines de l'application, de l'infrastructure, des données, de l'intégration, et de la sécurité.

Bon à avoir :

• Bon à avoir toute certification de Data Engineer professionnel

• Bon à avoir les fondamentaux de Python, HiveQL/SQL.
• Expérience requise avec l'analyse de données des médias sociaux impliquant des données à volume et à fréquence élevés.
• Expérience dans le travail sur des projets de développement d'applications axés sur les activités d'ingénierie des données en utilisant n'importe lequel des langages de programmation (Python, SQL, Java).
• Expérience préalable avec les outils et les concepts de big data tels que Hadoop, MapReduce, Spark, Hive, HBase, Apache Airflow(orchestration)