PySpark Technical Lead

Description de l'entreprise :

Sopra Steria, une entreprise technologique leader en Europe, emploie 56 000 professionnels dans près de 30 pays. Nous nous spécialisons dans le conseil, les services numériques et le développement de logiciels, en conduisant la transformation numérique de nos clients pour obtenir des avantages durables et pérennes. En proposant des solutions de bout en bout, nous améliorons la compétitivité des grandes entreprises et organisations, en combinant une connaissance approfondie des affaires avec des technologies innovantes et une approche collaborative. Nous accordons une grande valeur aux personnes et nous engageons à utiliser les outils numériques pour créer un avenir positif. En 2023, notre chiffre d'affaires a atteint 5,8 milliards d’euros. Le monde est tel que nous le façonnons.

Poste : Responsable Technique PySpark

Compétences Requises :

• Solide expertise dans les langages de programmation tels que Python, Scala et autres.
• Expérience pratique avec PySpark, y compris les fonctions de base des Dataframes, SparkSQL, Spark Streaming, Hive, Hadoop, Kafka, et YARN.
• Maîtrise des plateformes de cloud big data, de préférence Azure.
• Expérience avec Databricks et la programmation avec des notebooks.
• Expérience avec Airflow et Apache NiFi.
• Maîtrise du traitement et de la manipulation des données en utilisant SQL et le code Python.
• Expérience professionnelle dans la mise en place de pipelines d’ingestion de données en utilisant Data Factory.
• Expertise dans la construction et l’optimisation des pipelines de données, des architectures et des ensembles de données.
• Connaissance des systèmes de file d'attente, du traitement des flux et des magasins de données hautement évolutifs.
• Formation des utilisateurs, support client et coordination avec les équipes transversales.
• Rédaction de services ou d'API fortement liés aux bases de données.
• Bonne compréhension de la structuration du code pour les tests.
• Capacité à réaliser des estimations, à diriger techniquement l'équipe, et à surveiller & suivre les activités.
• Excellentes compétences en coordination et en communication avec les clients.

Compétences Souhaitées :

• Certifications de Data Engineer professionnel sur Databricks.
• Connaissance du workflow GIT et des pipelines CI/CD.
• Expérience avec l'environnement Azure DevOps.
• Expérience avec les pratiques & méthodologies Agile.
• Expérience dans les projets de migration (Scala/PySpark).
• Flexibilité pour travailler à la fois sur des projets de support et de développement.

Expérience Totale Attendue : 06-08 ans

Qualifications : B.E./B.Tech./MCA

Informations Complémentaires :

Chez Sopra Steria, nous nous engageons à lutter contre toutes les formes de discrimination. Nous favorisons un environnement de travail inclusif et respectueux de toutes les différences. Tous nos postes sont ouverts aux personnes en situation de handicap.

Nom de l'Entreprise : Sopra Steria

Intitulé du Poste : Responsable Technique PySpark