Intermediate Data Engineer

Цель работы: Увлекательная возможность для квалифицированного Инженера данных стать частью инновационной команды MLOps в k0deHut, где вы будете играть ключевую роль в развитии наших критически важных бизнес-приложений с вашим опытом в инженерии данных. В k0deHut у вас будет шанс проектировать, реализовывать и управлять комплексными решениями для данных в сотрудничестве с командой экспертов в различных технических доменах.

Основные обязанности:

Разработка конвейера данных:

• Проектирование и поддержание конвейеров ETL для пакетной и реальной обработки данных.
• Повышение эффективности и производительности существующих конвейеров.
• Лидирование в усилиях по визуализации данных и отчетности.
• Архитектура модификаций конвейера данных с использованием передовых инструментов для актуарных и AI-управляемых проектов.

Технологический стек:

• Разработка с использованием Python, SQL, Linux и сценариев командной строки.
• Использование Docker для управления контейнерами и оркестрации.
• Знание Spark и среды Linux будет являться значительным преимуществом.

Платформы и инструменты:

• Работа в средах, таких как Azure Data Factory, dbt, Airflow и Databricks.
• Знакомство с Kafka, Spark Streaming и как реляционными, так и NoSQL базами данных.
• Опыт работы с высокопроизводительными инмемори базами данных добавит ценности.

DevOps и автоматизация:

• Интеграция Azure DevOps для оптимизации рабочих процессов и сотрудничества между отделами.
• Использование Terraform для эффективного управления инфраструктурой.
• Поддержание строгой документации процессов и развертываний технологий.

Сотрудничество:

• Тесное сотрудничество с данными учеными, актуариями, программистами для удовлетворения потребностей в данных.
• Способствование архитектуре нашей современной экосистемы данных для машинного обучения.

Личные качества и навыки:

• Высокая квалификация в Python, SQL и Linux.
• Прочное понимание инструментов и платформ для работы с большими данными.
• Отличные коммуникативные навыки с возможностью работать в различных функциональных командах.
• Сильная ори