Tech Lead Data Engineer (Food and Beverage Manufacturing)

О компании: В Coherent Solutions мы с гордостью являемся лидерами в секторе пищевых продуктов и напитков на глобальном уровне, наша деятельность охватывает пять континентов, а годовой объем продаж превышает 7 миллиардов долларов. Мы сотрудничаем с ведущими ритейлерами, ресторанами и дистрибьюторами, чтобы обеспечить безупречное качество на всех уровнях.

• Azure Databricks
• PySpark
• SQL
• Azure Data Factory
• Azure Data Lake
• Azure SQL DW
• Azure SQL
• Python

Ваша роль как Tech Lead Data Engineer будет включать:

• Разработку детального технического плана миграции, охватывающего загрузку данных, преобразование, хранение и контроль доступа с использованием Azure Data Factory и Data Lake.
• Проектирование и реализацию масштабируемых данных пайплайнов с Azure Databricks для облегчения перемещения данных из множества источников.
• Создание масштабируемых, повторно используемых фреймворков для загрузки данных.
• Поддержание целостности и качества данных на протяжении всего пайплайна с помощью надежных механизмов проверки и очистки.
• Использование технологий на основе событий/потоков для загрузки и обработки данных.
• Предоставление технического лидерства и решение технических проблем во время миграции и после нее.
• Постоянное ознакомление с новыми достижениями в области облачных вычислений, инженерии данных и аналитики, рекомендации по лучшим практикам и отраслевым стандартам.

• 8-10 лет опыта в сфере IT, в частности, использование Azure Databricks и PySpark.
• Профессиональное владение языками программирования SQL и Python, адаптированными для инженерии данных.
• Доказанный опыт управления профайлингом данных, каталогизацией и картографированием для создания технических потоков данных.
• Опыт работы с инструментами визуализации данных.
• Технические лидерские навыки для эффективного руководства командами.
• Сильные аналитические способности и экспертиза в трансляции бизнес-требований в практические решения в области данных.
• Отличные коммуникативные навыки для взаимодействия с техническими и нетехническими заинтересованными сторонами.
• Уровень английского языка — Выше Среднего (письменный и устный).

• Сертификат Microsoft Certified: Azure Data