Senior/Lead Data Engineer - AWS Glue

Entreprise : Srijan Technologies

Lieu : Gurgaon, Haryana, Inde

Chez Material, nous transformons les défis des clients en opportunités de croissance. En tant que partenaire stratégique mondial, nous collaborons avec les marques les plus reconnues et les entreprises innovantes du monde entier. Notre équipe mondiale excelle dans la conception et la livraison d'expériences client enrichissantes, mues par des connaissances humaines approfondies, l'innovation en matière de design et la technologie de pointe. Nous accélérons l'engagement et la croissance, transformant les relations entre les entreprises et leurs clients.

Srijan, une entreprise Material, est une société mondiale d'ingénierie numérique réputée pour résoudre des problèmes technologiques complexes grâce à une expertise approfondie et des partenariats stratégiques. Rejoignez-nous et faites partie d'une Tribu Géniale.

Nous recherchons un Ingénieur de Données hautement qualifié et motivé pour rejoindre notre équipe dynamique. Le candidat idéal aura une expérience étendue avec AWS Glue, Apache Airflow, Kafka, SQL, Python et les outils DataOps. La connaissance de SAP HANA et de Snowflake est un plus. Ce rôle critique implique de concevoir, développer et maintenir l'architecture des pipelines de données de nos clients, en garantissant un flux de données efficace et fiable dans toute l'organisation.

• Concevoir, Développer et Maintenir les Pipelines de Données : Créer des pipelines de données robustes et évolutifs en utilisant AWS Glue, Apache Airflow et d'autres technologies pertinentes. Intégrer diverses sources de données, y compris SAP HANA, Kafka et les bases de données SQL.
• Gestion et Transformation des Données : Concevoir et mettre en œuvre des processus de transformation des données en utilisant SQL et Python. Assurer la qualité et l'intégrité des données grâce à des tests et des validations rigoureux.
• Collaboration et Communication : Travailler en étroite collaboration avec les data scientists, analystes et parties prenantes pour comprendre les besoins en données. Collaborer avec des équipes transverses pour mettre en place des pratiques DataOps.
• Surveillance et Optimisation : Surveiller les performances des pipelines de données et proposer des améliorations. Résoudre les problèmes liés aux données et gérer les systèmes de surveillance et d'alerte.
• Documentation et Bonnes Pratiques : Maintenir une documentation complète des pipelines de données et des processus. Adhérer aux meilleures pratiques en matière d'ingénierie des données, y compris la gestion des versions de code, les tests et les procédures de déploiement.

• Expérience étendue avec AWS Glue pour l'intégration et la transformation des données.
• Maîtrise d'Apache Airflow pour l'orchestration des workflows.
• Connaissance approfondie de Kafka pour le streaming en temps réel des données.
• Compétences avancées en SQL pour l'interrogation et la gestion des bases de données.
• Maîtrise de Python pour les tâches de script et d'automatisation.
• Expérience avec SAP HANA pour le stockage et la gestion des données.
• Familiarité avec les outils et méthodologies DataOps.

• Connaissance de Snowflake pour les solutions d'entrepôt de données basées sur le cloud.
• Expérience avec d'autres services de données AWS comme Redshift, S3 et Athena.
• Familiarité avec les technologies big data telles que Hadoop, Spark et Hive.

• Solides compétences analytiques et de résolution de problèmes.
• Excellentes capacités de communication et de collaboration.
• Souci du détail avec un engagement envers la qualité et l'exactitude des données.
• Capacité à travailler de manière autonome et à gérer plusieurs projets.

• Baccalauréat ou master en informatique, technologie de l'information ou dans un domaine connexe.
• 4+ années d'expérience en ingénierie des données ou dans un rôle connexe.
• Expérience avérée dans la conception et