Ingénieur de données AWS senior

Description de l'entreprise

Vitol est un leader dans le secteur de l'énergie avec une présence à travers tout le spectre : du pétrole à l'électricité, en passant par les énergies renouvelables et le carbone. Depuis 40 bureaux dans le monde entier, nous cherchons à apporter de la valeur à l'ensemble de la chaîne d'approvisionnement en énergie, en utilisant notre envergure et notre compréhension du marché pour faciliter la transition énergétique. À ce jour, nous avons engagé plus de 2 milliards de dollars de capitaux dans des projets d'énergies renouvelables, et nous identifions et développons des opportunités à faibles émissions de carbone dans le monde entier.

Nos employés sont notre entreprise. Le talent est précieux pour nous et nous créons un environnement dans lequel chaque personne peut atteindre son plein potentiel, sans être entravée par la hiérarchie. Notre équipe est composée de plus de 65 nationalités et nous nous engageons à développer et à maintenir une main-d'œuvre diversifiée. En savoir plus sur nous ici.

Description du poste

En tant qu'ingénieur de données senior, vous serez responsable de la conception, de la mise en œuvre et de la maintenance de systèmes de traitement de données à grande échelle sur AWS, en veillant à ce qu'ils soient évolutifs, fiables et efficaces.

Vous serez hautement technique, avec une expérience approfondie des plates-formes MPP/Spark, des "big data" (par exemple, prévisions météo, localisation de navires, images satellites, ...), et du développement de pipelines de données résilients et fiables. Vous serez responsable des pipelines de données de bout en bout : acquisition, chargement, transformation, mise en œuvre des règles commerciales/analytics, et livraison à l'utilisateur final (business / data science / AI).

Vous collaborerez également directement avec le Business et les autres équipes de livraison, ainsi qu'avec l'équipe Data Science, pour comprendre leurs besoins en matière de données et fournir l'infrastructure de données nécessaire pour soutenir leurs activités, ainsi que pour optimiser les performances des systèmes de traitement de données en ajustant les requêtes de la base de données, en améliorant les temps d'accès aux données et en réduisant la latence.

Ce rôle nécessitera de solides compétences en codage en SQL et Python, ainsi que le respect des meilleures pratiques d'ingénierie.

Vous devez être un bon communicant, capable de traduire facilement des concepts techniques à des utilisateurs non techniques, ainsi que de traduire des exigences commerciales en exigences techniques.

Qualifications

• 10 ans d'expérience ou plus dans le domaine de l'ingénierie de données
• Compétent en bases de données MPP (Snowflake, Redshift, Big Query, Azure DW) et/ou Apache Spark
• Compétent dans la construction de pipelines de données résilients pour de grands ensembles de données
• Connaissance approfondie d'AWS ou du cloud, incluant les services de base et étendus.
• 8 ans d'expérience ou plus avec au moins 3 des éléments suivants : ECS, EKS, Lambda, DynamoDB, Kinesis, AWS Batch, ElasticSearch/OpenSearch, EMR, Athena, Docker/Kubernetes
• Compétent en Python et SQL, et bonne expérience de la modélisation des données
• Expérience avec un outil moderne d'orchestration (Airflow / Dagster / Prefect / similaire) et/ou DBT
• À l'aise pour travailler dans un environnement dynamique avec un certain degré d'incertitude

Informations complémentaires

Souhaité:

• Infrastructure en tant que code (Terraform, Cloud Formation, Ansible, Serverless)
• Pipelines CI/CD (Jenkins / Bitbucket Pipelines / similaire)
• Compétences en optimisation de base de données/SQL
• Concepts de base de la science des données