Cloud Data Engineer

Hydro Global Business Services (GBS) to kluczowa dywizja zapewniająca niezbędne rozwiązania IT, finansowe i HR dla wszystkich działów w grupie Hydro. Dołączając do nas, będziesz współtworzyć kluczowe projekty dla wewnętrznych klientów i zakładów produkcyjnych, pomagając im w rozwiązywaniu problemów związanych z inżynierią danych i uczeniem maszynowym za pomocą rozległej platformy chmurowej Microsoft Azure.

Jako Cloud Data Engineer będziesz:

• Projektować i wdrażać solidne, skalowalne i bezpieczne potokowe przetwarzanie danych wsadowych i strumieniowych.
• Rozwijać kompleksowe platformy danych i rozwiązania dla przedsiębiorstw oparte na jeziorach danych.
• Uczestniczyć w cyklu życia produktu, od początkowych PoC do wdrażania i integracji nowoczesnych rozwiązań BI i analitycznych w środowiskach produkcyjnych.
• Współpracować jako ekspert techniczny z właścicielami procesów biznesowych, menedżerami produktu, zespołami DevOps, inżynierami uczenia maszynowego i inżynierami infrastruktury, aby osiągać cele biznesowe.
• Być rzecznikiem deweloperów produktów danych, wpływać na oferty usług i strategie produktów danych we współpracy z zespołem platformy chmurowej i innymi zespołami międzydziałowymi.

Główne obowiązki:

• Zarządzanie i orkiestracja złożonych potoków danych za pomocą Azure Data Factory (ADF).
• Projektowanie, wdrażanie i optymalizacja procesów transformacji danych za pomocą bibliotek Python (Pandas, Numpy, PySpark).
• Rozwój, utrzymanie i rozwiązywanie problemów ze skalowalnymi przepływami pracy danych na platformie Databricks.
• Wykorzystywanie Azure Data Explorer (ADX) do analizy danych w czasie rzeczywistym i zaawansowanych zapytań.
• Tworzenie i optymalizacja zapytań SQL do ekstrakcji, transformacji i ładowania danych.
• Automatyzacja rutynowych zadań związanych z danymi za pomocą Runbooków automatyzacji i funkcji Azure.
• Projektowanie i zarządzanie skalowalnymi rozwiązaniami do przechowywania danych za pomocą Azure Data Lake.
• Pisanie i wykonywanie testów jednostkowych w celu utrzymania integralności i jakości danych.
• Wykorzystywanie potoków CI/CD za pośrednictwem Azure DevOps do bezproblemowej integracji i wdrażania.
• Optymalizacja wykorzystania Azure w celu efektywnego zarządzania i redukcji kosztów.

Wymagania dla kandydatów:

• Ponad 3 lata doświadczenia w inżynierii danych lub pokrewnej dziedzinie.
• Tytuł licencjata lub magistra w dziedzinie informatyki, technologii informacyjnych lub podobnej dyscypliny.
• Certyfikat Microsoft Certified Azure Data Engineer Associate lub podobny certyfikat (preferowane).
• Biegłość w języku angielskim; dodatkowe języki są mile widziane.
• Wyjątkowe umiejętności rozwiązywania problemów i skrupulatna dbałość o szczegóły.
• Silne umiejętności komunikacyjne i zdolności do pracy zespołowej.
• Znajomość używania Azure Data Factory.
• Udokumentowane doświadczenie w transformacji danych za pomocą Pythona.
• Zaawansowane umiejętności SQL i wiedza na temat optymalizacji zapytań.
• Zrozumienie Azure Data Explorer (ADX) do analizy danych.
• Praktyczne doświadczenie