Cloud Data Engineer

Hydro Global Business Services (GBS) является ключевым подразделением, предоставляющим важные ИТ-, финансовые и HR-решения всем департаментам группы Hydro. Присоединившись к нам, вы будете вносить вклад в ключевые проекты для внутренних клиентов и производственных площадок, помогая им решать задачи инженерии данных и машинного обучения с использованием обширной облачной платформы Microsoft Azure.

Как Облачный инженер данных, вы будете:

• Проектировать и реализовывать надежные, масштабируемые и безопасные аналитические конвейеры для пакетной и потоковой обработки данных.
• Разрабатывать комплексные платформы данных и корпоративные решения для озера данных.
• Участвовать в процессе разработки продукта, начиная от начальных PoC до развертывания и интеграции современных BI и аналитических решений в производственные среды.
• Сотрудничать в качестве технического эксперта с владельцами бизнес-процессов, менеджерами по продуктам, DevOps, инженерами по машинному обучению и инженерами инфраструктуры для достижения бизнес-целей.
• Выступать в роли защитника разработчиков продуктов данных, влияя на предложения услуг и стратегии продуктов данных в партнерстве с командой облачной платформы и другими межфункциональными командами.

Основные обязанности:

• Управлять и оркестрировать сложные конвейеры данных с использованием Azure Data Factory (ADF).
• Проектировать, реализовывать и оптимизировать процессы преобразования данных с использованием библиотек Python (Pandas, Numpy, PySpark).
• Разрабатывать, поддерживать и устранять неполадки в масштабируемых рабочих процессах данных на Databricks.
• Использовать Azure Data Explorer (ADX) для анализа данных в реальном времени и сложных запросов.
• Создавать и оптимизировать SQL-запросы для извлечения, преобразования и загрузки данных.
• Автоматизировать рутинные задачи обработки данных с использованием Automation Runbooks и Azure Functions.
• Проектировать и управлять масштабируемыми решениями по хранению данных с использованием Azure Data Lake.
• Писать и выполнять модульные тесты для поддержания целостности и качества данных.
• Использовать CI/CD конвейеры через Azure DevOps для бесшовной интеграции и развертывания.
• Оптимизировать использование Azure для эффективного управления и сокращения затрат.

Требования к кандидату:

• 3+ лет опыта в области инженерии данных или смежной области.
• Степень бакалавра или магистра в области компьютерных наук, информационных технологий или аналогичной дисциплины.
• Сертификация Microsoft Certified Azure Data Engineer Associate или аналогичная (желательно).
• Свободное владение английским языком; знание дополнительных языков приветствуется.
• Исключительные навыки решения проблем и внимательность к деталям.
• Сильные навыки общения и работы в команде.
• Экспертиза в использовании Azure Data Factory.
• Подтвержденный опыт преобразования данных с использованием Python.
• Продвинутые навыки работы с SQL и оптимизации запросов.
• Понимание возможностей Azure Data Explorer (ADX) для анализа данных.
• Практический опыт работы с Databricks и GitHub.
• Знание инструментов Infrastructure as Code (IaC) (например, Terraform, ARM templates) является плюсом.

Преимущества работы в Hydro:

• Присоединение к ведущей полностью интегрированной алюминиевой и возобновляемой энергетической компании.
• Работа в разнообразной международной команде.
• Гибкая рабочая среда с возможностью работы из дома.
• Свобода креативности и возможность учиться у экспертов отрасли.