Mid-Level Databricks Data Engineer

• Проектування, розробка та впровадження конвеєрів обробки даних за допомогою Spark у ноутбуках Databricks.
• Оптимізація робочих процесів з даними для продуктивності, масштабованості та надійності.
• Співпраця з науковцями та аналітиками даних для розуміння вимог до даних та надання практичних інсайтів.
• Забезпечення відповідності стандартам управління даними та безпеки.
• Включення основних компетенцій управління даними, включаючи управління даними, безпеку даних та якість даних.
• Робота з різними функціями з метою розуміння можливостей даних та побудови конвеєрів і словників для потенційних джерел даних.
• Забезпечення якості даних шляхом автоматизації тестування та аудиту.
• Досвід роботи з CI/CD конвеєрами за допомогою Jenkins.
• Управління кодовими репозиторіями та управління версіями за допомогою Bitbucket.

• Володіння Databricks та базовими знаннями AWS.
• Знання з наукових даних, бізнес-аналітики і аналітики даних.
• Знання методів інтеграції даних, зберігання даних, моделювання та презентації.
• Володіння Power BI, включаючи візуалізацію даних і реляційні бази даних.
• Досвід трансформації даних та процесів ETL.
• Глибокі знання принципів моделювання даних, таких як Dimensional modeling та принципи нормалізації даних.
• Володіння Python та SQL.
• Досвід роботи з Jenkins для безперервної інтеграції та безперервної доставки.
• Знання Bitbucket для розміщення коду та співпраці.

Рекомендований досвід: 2+ роки практичного досвіду виконання перелічених завдань з інженерії даних.

Додаткова інформація:

Назва компанії: Adidas

Назва посади: Інженер даних середнього рівня з Databricks