Mid-Level Databricks Data Engineer

• Projektowanie, rozwój i wdrażanie przepływów przetwarzania danych przy użyciu Spark w notebookach Databricks.
• Optymalizacja przepływów danych pod kątem wydajności, skalowalności i niezawodności.
• Współpraca z naukowcami i analitykami danych w celu zrozumienia wymagań dotyczących danych i dostarczania operacyjnych wglądów.
• Zapewnienie zgodności z zasadami zarządzania danymi i standardami bezpieczeństwa.
• Włączanie podstawowych kompetencji zarządzania danymi, w tym zarządzania danymi, bezpieczeństwa danych i jakości danych.
• Praca między funkcjami w celu zrozumienia możliwości danych i budowania przepływów i słowników dla potencjalnych źródeł danych.
• Zapewnienie jakości danych poprzez automatyzację testowania i audytów.
• Doświadczenie w CI/CD przy użyciu Jenkins.
• Zarządzanie repozytoriami kodu i kontrola wersji za pomocą Bitbucket.

• Biegłość w Databricks i podstawowej obsłudze AWS.
• Znajomość nauki o danych, business intelligence i analityki danych.
• Wiedza na temat integracji danych, hurtowni danych, modelowania i prezentacji.
• Biegłość w Power BI, w tym wizualizacji danych i bazach relacyjnych.
• Doświadczenie z procesami transformacji danych i ETL.
• Mocne podstawy zasad modelowania danych, takich jak modelowanie wymiarowe i zasady normalizacji danych.
• Biegłość w Pythonie i SQL.
• Doświadczenie z Jenkins w zakresie ciągłej integracji i ciągłego wdrażania.
• Znajomość Bitbucket w zakresie hostowania i współpracy nad kodem.

Zalecane doświadczenie: 2+ lata praktycznego doświadczenia w wykonywaniu wymienionych zadań inżynierii danych.

Dodatkowe informacje:

Nazwa firmy: Adidas

Stanowisko: Mid-Level Databricks Data Engineer