Mid-Level Databricks Data Engineer

• Разрабатывать, разрабатывать и внедрять конвейеры обработки данных с использованием Spark в блокнотах Databricks.
• Оптимизировать рабочие процессы данных для повышения производительности, масштабируемости и надежности.
• Сотрудничать с дата-сайентистами и аналитиками для понимания требований к данным и предоставления практических выводов.
• Обеспечить соблюдение стандартов управления данными и безопасности.
• Включать основные компетенции управления данными, включая управление данными, безопасность данных и качество данных.
• Работать кросс-функционально для понимания возможностей данных и создания конвейеров и словарей для потенциальных источников данных.
• Обеспечить качество данных с помощью автоматизации тестирования и аудита.
• Опыт работы с CI/CD конвейерами с использованием Jenkins.
• Управлять репозиториями кода и версионным контролем с использованием Bitbucket.

• Уверенное владение Databricks и основами AWS.
• Знание data science, бизнес-аналитики и анализа данных.
• Знание интеграции данных, создания хранилищ данных, моделирования и тактики представления данных.
• Уверенное владение Power BI, включая визуализацию данных и реляционные базы данных.
• Опыт работы с процессами преобразования данных и ETL.
• Глубокое понимание принципов моделирования данных, таких как многомерное моделирование и принципы нормализации данных.
• Умение программировать на Python и SQL.
• Опыт работы с Jenkins для непрерывной интеграции и доставки.
• Знание Bitbucket для хостинга и совместной работы над кодом.

Рекомендуемый опыт: более 2 лет практического выполнения перечисленных задач по инженерии данных.

Дополнительная информация:

Название компании: Adidas

Название должности: Инженер данных среднего уровня на платформе Databricks