Data Engineer

Описание компании

AUTODOC является крупнейшей и наиболее быстрорастущей платформой электронной коммерции по продаже автозапчастей в Европе. Будучи присутствующей в 27 странах и насчитывая около 5,000 сотрудников, AUTODOC сгенерировала выручку более €1.3 миллиарда в 2023 году. Мы обеспечиваем более 7.4 миллионов активных клиентов 5.8 миллионами деталей и аксессуаров для автомобилей, грузовиков и мотоциклов. Любопытные умы, авантюристы-эксперты и технически подкованные профессионалы — одна команда, один миллиард евро выручки. Присоединяйтесь к нам!

Описание работы

Выступая в роли Инженера по данным в проекте «Профиль пользователя», ваша основная задача будет заключаться в организации сбора и хранения данных пользователей в одном централизованном месте. Это включает в себя как создание классических процессов ETL, так и работу с данными в реальном времени, нереляционными базами данных и моделированием данных.

• Сбор данных из различных источников (БД, облако, файлы и т.д.)
• Создание цепочек обработки данных и процессов ETL
• Настройка процессов потоковой передачи данных в почти реальном времени
• Разработка дата-мартов
• Проверка данных

Основные требования

• Отличные навыки программирования на Python
• Экспертные знания SQL
• Практический опыт работы с Airflow
• Практический опыт работы с Kafka (Kafka Streams)
• Знание SnowFlake и DBT
• Опыт работы с реляционными и нереляционными базами данных (предпочтительно MySQL, MongoDB)
• Знание принципов хранения данных (Data Lake, DWH)
• Практический опыт работы с графовыми базами данных (предпочтительно Neo4j)

Желаемые требования

• Опыт работы с GCP, Docker, Git
• Опыт работы с Grafana или другим инструментом мониторинга
• Опыт работы с Clickhouse
• Более 2 лет опыта работы в качестве инженера по данным
• Высокие аналитические способности
• Уровень английского языка Intermediate и выше

• Конкурентоспособная заработная плата, основанная на вашем профессиональном опыте
• Б