Cloud Data Engineer

Hydro Global Business Services (GBS) є основним підрозділом, що надає важливі IT, фінансові та HR рішення всім департаментам Hydro. Приєднавшись до нас, ви будете сприяти важливим проєктам для внутрішніх клієнтів та виробничих майданчиків, допомагаючи їм вирішувати питання інженерії даних і машинного навчання за допомогою широкої платформи хмарних обчислень Microsoft Azure.

Як інженер з хмарних даних, ви:

• Проектуватимете та впроваджуватимете надійні, масштабовані та безпечні аналітичні схеми пакетних і потокових даних.
• Розроблятимете комплексні платформи даних та корпоративні рішення для озер даних.
• Братимете участь у життєвому циклі розробки продукту - від початкових PoC до розгортання та інтеграції сучасних BI та аналітичних рішень у виробничі середовища.
• Співпрацюватимете як технічний експерт з власниками бізнес-процесів, менеджерами продуктів, DevOps, інженерами машинного навчання й інфраструктурними інженерами для досягнення бізнес-цілей.
• Виступатимете адвокатом розробників даних, впливаючи на пропозиції послуг та стратегії продуктів даних разом з командою хмарної платформи та іншими міжфункціональними командами.

• Управляти і організовувати складні схеми даних за допомогою Azure Data Factory (ADF).
• Проектувати, впроваджувати і оптимізувати процеси трансформації даних з використанням бібліотек Python (Pandas, Numpy, PySpark).
• Розробляти, підтримувати і усувати несправності масштабованих робочих процесів даних на Databricks.
• Використовувати Azure Data Explorer (ADX) для аналізу даних в реальному часі та складних запитів.
• Створювати і оптимізувати SQL-запити для вилучення, трансформації та завантаження даних.
• Автоматизовувати рутинні завдання з даними за допомогою Automation Runbooks та Azure Functions.
• Проектувати і управляти масштабованими сховищами даних за допомогою Azure Data Lake.
• Писати і виконувати юніт-тести для підтримки цілісності і якості даних.
• Використовувати CI/CD схеми через Azure DevOps для безшовної інтеграції і розгортання.
• Оптимізувати використання Azure для ефективного управління і зниження витрат.

• Мати досвід роботи в області інженерії даних або суміжній галузі понад 3 роки.
• Бакалавр або магістр з комп'ютерних наук, інформаційних технологій або подібної дисципліни.
• Сертифікат Microsoft Certified Azure Data Engineer Associate або аналогічна сертифікація (бажано).
• Володіння англійською мовою; додаткові мови є плюсом.
• Відмінні навички вирішення проблем і уважність до деталей.
• Сильні комунікаційні та командні здібності.
• Експертиза у використанні Azure Data Factory.
• Доведений досвід у трансформації даних з використанням Python.
• Просунуті навички SQL і оптимізації запитів.
• Розуміння Azure Data Explorer (ADX) для аналізу даних.
• Практичний досвід з