Tech Lead Data Engineer (Food and Beverage Manufacturing)

Фон Компанії: У Coherent Solutions ми пишаємося тим, що є лідерами у секторі харчових продуктів і напоїв на глобальному рівні, охоплюючи операції на п'яти континентах і похваляючись річними продажами, що перевищують $7 мільярдів. Ми співпрацюємо з провідними рітейлерами, ресторанами та дистриб'юторами, щоб забезпечувати відмінність у всьому.

• Azure Databricks
• PySpark
• SQL
• Azure Data Factory
• Azure Data Lake
• Azure SQL DW
• Azure SQL
• Python

Як технічний керівник інженерів даних, ваші обов'язки включатимуть:

• Розробку детального технічного плану для міграції, що охоплює інгестування даних, їх трансформацію, зберігання та контроль доступу з використанням Azure Data Factory та Data Lake.
• Проектування та реалізація масштабованих каналів передачі даних за допомогою Azure Databricks для забезпечення плавного переміщення даних з різних джерел.
• Створення масштабованих, повторно використовуваних рамок для інгестування даних.
• Підтримка цілісності даних та якості на протязі всього потоку даних за допомогою надійних механізмів валідації та очищення.
• Використання технологій на основі подій/потокової обробки для інгестування та обробки даних.
• Надання технічного лідерства та вирішення технічних викликів протягом та після міграції.
• Бути в курсі останніх досягнень в галузі хмарних обчислень, інженерії даних та аналітики, рекомендувати кращі практики та стандарти галузі.

• Від 8 до 10 років досвіду роботи в ІТ, особливо з Azure Databricks та PySpark.
• Знання SQL та програмування Python, орієнтоване на інженерію даних.
• Доведену здатність керувати профілюванням даних, каталогізацією та картографуванням для створення технічних потоків даних.
• Досв