Sr. Data Engineer

В Cargill наш значительный масштаб и размер предоставляют нам уникальную возможность положительно влиять на мир. Мы стремимся к обеспечению мира безопасным, ответственным и устойчивым способом. Как семейная компания, мы поставляем продукты питания, ингредиенты, сельскохозяйственные решения и промышленные продукты, необходимые для повседневной жизни. Мы соединяем фермеров с рынками, чтобы помочь им процветать, а клиентов с ингредиентами, чтобы создавать блюда, которые любят люди. От яиц до съедобных масел, от соли до средств по уходу за кожей и от кормов до альтернативного топлива: 160 000 наших сотрудников в 70 странах производят важнейшие продукты, которые ежедневно касаются миллиардов жизней. Присоединяйтесь к нам в Cargill, чтобы достичь своей высшей цели.

Старший инженер данных будет проектировать, строить и эксплуатировать высокопроизводительные решения, ориентированные на данные, используя передовые возможности больших данных для нашей платформенной среды. В этой ключевой роли Вы будете служить экспертом по путям доступа к данным и методикам, сотрудничая с аналитиками в команде функциональной аналитики данных. Ваши обязанности включают проектирование структур данных и потоков данных, реализацию преобразований данных, их сочетание и агрегацию.

• Работать с бизнесами, владельцами приложений и процессов, а также командами продуктов, чтобы определять требования и разрабатывать решения для больших данных и аналитики.
• Участвовать в процессах принятия решений, связанных с архитектурой решений.
• Разрабатывать технические решения с использованием технологий больших данных и облачных технологий, обеспечивая их устойчивость и надежность.
• Выполнять моделирование данных, готовить данные в базах данных для аналитических инструментов и настраивать и разрабатывать потоки данных для оптимизации активов данных.
• Предоставлять техническую поддержку на всех этапах жизненного цикла решения.
• Создавать прототипы для тестирования новых концепций, вносить идеи и код для улучшения основной программной инфраструктуры, шаблонов и стандартов.
• Продвигать внедрение новых технологий и методов в команде функциональной аналитики данных и наставлять младших инженеров данных.
• Самостоятельно решать сложные задачи с минимальным руководством, эскалируя только самые трудные проблемы по мере необходимости.
• Выполнять другие обязанности по мере необходимости.

Минимальные квалификации

• Степень бакалавра в соответствующей области или эквивалентный опыт.
• Минимум четыре года соответствующего опыта работы.
• Высокий уровень владения английским языком, как устного, так и письменного.

Предпочтительные квалификации

• Опыт работы с инструментами сбора и приема данных, такими как AWS Glue, Kafka Connect и Flink.
• Опыт работы с крупными, гетерогенными наборами данных с использованием инструментов, таких как Iceberg, Parquet, Avro, ORC, S3, HFDS, HIVE и Kudu.
• Опыт работы с инструментами трансформации и моделирования, включая фреймворки трансформации на основе SQL, оркестрации и фреймворки качества, такие как dbt, Apache Nifi, Talend, AWS Glue, Airflow, Dagster, Great Expectations и Oozie.
• Опыт работы в среде больших данных с использованием Hadoop и Spark.
• Опыт работы с облачными платформами, такими как AWS, GCP или Azure.
• Знание платформ потоковой передачи данных и платформ интеграции или промежуточного ПО, таких как Kafka, Flink, JMS или Kinesis.
• Сильные навыки программирования на языках SQL, Python, R, Java, Scala или эквивалентных.
• Умение работать с инженерными инструментами, такими как Docker, Git и сервисы оркестрации контейнеров.
• Опыт работы с моделями DevOps, включая лучшие практики управления код