Senior Data Engineer - Tech Lead

В компании Cargill мы считаем, что наши масштабы и размах предоставляют нам уникальную возможность положительно влиять на мир. Наша миссия - кормить мир безопасным, ответственным и устойчивым образом. Как семейная компания, мы предлагаем разнообразные основные продукты, включая пищевые продукты, ингредиенты, решения для сельского хозяйства и промышленные продукты, которые жизненно необходимы в повседневной жизни. Мы соединяем фермеров с рынками, клиентов с необходимыми ингредиентами и семьи с повседневными вещами, такими как яйца, растительные масла, соль, продукты для ухода за кожей, корма и альтернативные виды топлива. С глобальным присутствием 160,000 сотрудников в 70 странах, мы производим продукцию, которая ежедневно затрагивает миллиарды жизней. Присоединяйтесь к Cargill и реализуйте свои высшие цели.

В качестве ведущего специалиста по данным старшего уровня (Tech Lead) в компании Cargill вы будете предоставлять техническое руководство команде, работающей по всему стеку для проектирования, разработки и эксплуатации сложных, высокопроизводительных и ориентированных на данные решений. Используя наши современные возможности и платформы для работы с данными, вы и ваша команда будете играть критическую роль в обеспечении аналитических инсайтов и оптимизации процессов для разнотипных и сложных бизнес-сред округа Cargill. Вы будете частью небольшой команды, которая разделяет вашу страсть к созданию инновационных, устойчивых и качественных решений, одновременно способствуя росту и обучению вместе.

• Сотрудничать с бизнес-заинтересованными сторонами, владельцами продукта и членами команды для определения требований и проектирования продуктов или решений.
• Участвовать в принятии решений, связанных с архитектурой решения продукта.
• Разрабатывать масштабируемые, устойчивые и надежные технические продукты или решения с использованием технологий больших данных и облачных технологий.
• Выполнять сложное моделирование данных и подготавливать данные в базах данных для различных аналитических инструментов, настраивать и развивать конвейеры данных для оптимизации активов данных.
• Предоставлять технические рекомендации на всех этапах жизненного цикла продукта или решения.
• Создавать сложные прототипы для тестирования новых концепций и разработки идей по повторно используемым фреймворкам, компонентам и продуктам или решениям для данных.
• Способствовать принятию новых технологий и методов в команде по работе с данными, выступая в качестве ролевой модели и наставника.
• Самостоятельно решать сложные проблемы с минимальным наблюдением, передавая более сложные вопросы соответствующим сотрудникам.
• Выполнять другие обязанности по мере необходимости.

• Степень бакалавра в смежной области или эквивалентный опыт.
• Минимум четыре года соответствующего опыта работы.

• Опыт разработки современной архитектуры данных, такой как хранилища данных, озера данных и сетки данных.
• Владение способностями к сбору и загрузке данных, включая AWS Glue, Kafka Connect и Flink.
• Опыт работы с хранением данных и управлением крупными, разнотипными наборами данных с использованием таких инструментов, как Iceberg, Parquet, Avro и S3.
• Знакомство с инструментами для трансформации и моделирования данных, такими как SQL-based фреймворки, dbt, Apache Nifi и AWS Glue.
• Опыт работы в средах больших данных, таких как Hadoop и Spark.
• Опыт работы с облачными платформами, включая AWS, GCP или Azure.
• Владение языками программирования, такими как SQL, Python, R, Java и Scala.
• Опыт работы с инженерными инструментами, такими как Docker, Git и сервисы оркестрации контейнеров.
• Знание и опыт работы в моделях devops с лучшими практиками управления кодом, непрерывной интеграции и стратегиями развертывания.
• Опыт работы на руководящих должностях