Big Data Engineer (PySpark)

Job expired!

Rejoignez Capgemini en tant qu'Ingénieur Big Data (PySpark)

Rôles et Responsabilités :

  • Concevoir et développer des projets de traitement de données en utilisant Spark Scala et PySpark.
  • Mettre en œuvre des tests unitaires robustes pour les transformations de données et les méthodes auxiliaires.
  • Utiliser Spark et Spark SQL pour une gestion et une analyse efficaces des données dans Hive en utilisant l'API Scala.
  • Travailler aux côtés des analystes d'affaires pour valider les résultats des tests et accomplir les validations de projet.
  • Documenter la conception et les procédures opérationnelles pour guider les processus futurs et les mises en œuvre.
  • Assurer des livraisons de haute qualité à travers des revues minutieuses de code par les pairs et l'adhésion aux normes de qualité.
  • Participer à des environnements de codage collaboratifs, y compris la programmation en binôme.
  • Contribuer aux efforts de l'équipe en forgeant un code de haute qualité et maintenable.

Qualifications et Exigences :

  • Expérience prouvée, allant de 4 à 10 ans, en tant qu'Ingénieur de Données Hadoop.
  • Expertise démontrable dans les écosystèmes Hadoop tels que Spark, Scala, PySpark, Python, Hive et Impala.
  • Aptitude avec des outils supplémentaires comme Oracle, Spark Streaming, Kafka, et des concepts de base en apprentissage automatique.
  • Compétence dans les pratiques Agiles, l'intégration continue et le déploiement (CI/CD), et des outils comme Git, Jenkins et la Distribution Cloudera.
  • Compréhension approfondie de la manipulation des structures de données, des systèmes distribués, du développement d'application, et de l'automatisation.
  • Une expérience antérieure dans les secteurs de la Banque Centrale ou de la Finance est très avantageuse.
  • L'expérience en informatique en nuage, en particulier avec AWS, sera considérée comme un atout majeur.

Entamez une trajectoire de carrière excitante avec Capgemini en exploitant votre expertise en Big Data et technologies de l'écosystème pour mener des projets transformateurs et des solutions innovantes. Postulez aujourd'hui pour devenir partie intégrante d'une équipe mondialement estimée en tant qu'Ingénieur Big Data spécialisé en PySpark !