Sr. Data Engineer

Chez Cargill, notre taille et notre échelle considérables nous permettent d'avoir un impact positif sur le monde. Nous nous engageons à nourrir le monde de manière sûre, responsable et durable. En tant qu'entreprise familiale, nous fournissons des aliments, des ingrédients, des solutions agricoles et des produits industriels essentiels à la vie quotidienne. Nous connectons les agriculteurs aux marchés pour les aider à prospérer et relions les clients avec des ingrédients pour créer des repas que les gens adorent. Des œufs aux huiles comestibles, du sel aux soins de la peau, et de l'alimentation aux carburants alternatifs, nos 160 000 collègues dans 70 pays produisent des produits essentiels qui touchent des milliards de vies quotidiennement. Rejoignez-nous chez Cargill pour atteindre votre objectif supérieur.

Le Sr. Data Engineer concevra, construira et opérera des solutions axées sur les données haute performance en utilisant des capacités avancées de big data pour notre environnement de plateforme de données. Dans ce rôle crucial, vous servirez d'expert pour les voies d'accès aux données et les techniques, en collaboration avec les analystes de l'équipe d'analyse de données fonctionnelle. Vos responsabilités incluent la conception de structures de données et de pipelines, la mise en œuvre de transformations, de combinaisons et d'agrégations de données.

• Travailler avec les entreprises, les propriétaires d'applications et de processus, et les équipes produits pour définir les exigences et concevoir des solutions de big data et d'analytique.
• Participer aux processus décisionnels liés à l'architecture des solutions.
• Développer des solutions techniques en utilisant des technologies de big data et basées sur le cloud, en assurant durabilité et robustesse.
• Réaliser la modélisation des données, préparer les données dans les bases de données pour les outils d'analytique, et configurer et développer des pipelines de données pour optimiser les actifs de données.
• Fournir un support technique tout au long des phases du cycle de vie de la solution.
• Construire des prototypes pour tester de nouveaux concepts, en contribuant des idées et du code pour améliorer l'infrastructure logicielle de base, les modèles et les standards.
• Encourager l'adoption de nouvelles technologies et méthodes au sein de l'équipe de données et d'analytique fonctionnelle et encadrer les ingénieurs de données juniors.
• Gérer des problèmes complexes de manière autonome avec une supervision minimale, en escaladant uniquement les problèmes les plus difficiles si nécessaire.
• Accomplir d'autres tâches assignées.

• Diplôme de licence dans un domaine connexe ou expérience équivalente.
• Minimum de quatre ans d'expérience de travail liée.
• Compétences avancées en anglais, à l'oral et à l'écrit.

• Expérience des outils de collecte et d'ingestion de données tels qu'AWS Glue, Kafka Connect et Flink.
• Expérience de la gestion de grands ensembles de données hétérogènes avec des outils comme Iceberg, Parquet, Avro, ORC, S3, HFDS, HIVE et Kudu.
• Expérience des outils de transformation et de modélisation, y compris les frameworks de transformation basés sur SQL, l'orchestration, et les frameworks de qualité tels que dbt, Apache Nifi, Talend, AWS Glue, Airflow, Dagster, Great Expectations et Oozie.
• Expérience des environnements Big Data utilisant Hadoop et Spark.
• Expérience avec des plateformes cloud telles qu'AWS, GCP ou Azure.
• Connaissance des plateformes de streaming et d'intégration de flux ou de middleware comme Kafka, Flink, JMS ou Kinesis.
• Compétences solides en programmation en SQL, Python, R, Java, Scala ou langages équivalents.
• Maîtrise des outils d'ingénierie tels que Docker, Git et les services d'orchestration de conteneurs.
• Expérience des modèles DevOps, y compris les meilleures pratiques pour la gestion du code, l'intégration continue et les stratégies de déploiement.
• Compréhension des considérations relatives à la gouvernance des