Intermediate Data Engineer

Мета роботи: Це захоплююча можливість для кваліфікованого Data Engineer стати частиною інноваційної команди MLOps у k0deHut, де ви зіграєте ключову роль у розвитку наших критично важливих бізнес-додатків завдяки вашому досвіду в інженерії даних. У k0deHut ви матимете можливість проектувати, впроваджувати та управляти комплексними рішеннями для даних у співпраці з командою експертів у різноманітних технологічних доменах.

Розробка даних:

• Проектування та підтримка конвеєрів ETL для обробки даних у пакетному та реальному часі.
• Підвищення ефективності та продуктивності існуючих конвеєрів.
• Лідерство у сфері візуалізації даних та звітності.
• Архітектура модифікацій даних з використанням передових інструментів для актуарних та AI-керованих проектів.

Технологічний стек:

• Розробка з використанням Python, SQL, Linux та shell-скриптів.
• Використання Docker для управління контейнерами та оркестрації.
• Знання Spark та Linux буде великою перевагою.

Платформи та інструменти:

• Робота в середовищах, таких як Azure Data Factory, dbt, Airflow та Databricks.
• Обізнаність з Kafka, Spark Streaming та як з реляційними, так і з NoSQL базами даних.
• Досвід роботи з високопродуктивними базами даних у пам'яті додасть цінності.

DevOps та автоматизація:

• Інтеграція Azure DevOps для оптимізації робочих процесів та співпраці між відділами.
• Використання Terraform для ефективного управління інфраструктурою.
• Підтримка ретельної документації процесів та технологічних розгортань.

Співпраця:

• Тісна співпраця з дата-сайентистами, актуаріями, програмними інженерами для задоволення потреб у даних.