Senior/Principal Backend Data Engineer - Data Platform

W Dematic jesteśmy na skraju zrewolucjonizowania naszego krajobrazu danych poprzez budowę najnowocześniejszej platformy Enterprise Data Lakehouse. Tworzymy dwa kluczowe zespoły platformowe, które poprowadzą tworzenie podstawowych komponentów tej przełomowej platformy. Te zespoły wyjdą poza tradycyjne przetwarzanie danych, aby zaprojektować platformę napędzaną mikroserwisami, która zapewni abstrakcje, umożliwiając innym zespołom bezproblemowe rozszerzanie platformy.

Szukamy dynamicznych i wysoko wykwalifikowanych Senior i Principal-level Data Engineerów, którzy zaprojektują i zbudują podstawę naszej Enterprise Data Platform. Ta rola wymaga inżynierów, którzy nie tylko mają głębokie zrozumienie krajobrazu inżynierii danych, ale także budowali podstawowe fundamenty w przeszłości. Idealni kandydaci wniosą znaczący wkład w rozwój platformy, jednocześnie aktywnie kształtując przyszłość naszego ekosystemu danych.

Oferujemy pomoc w relokacji do Waterloo

Co oferujemy:

• Konkurencyjne wynagrodzenie i benefity
• Pomoc w relokacji
• Możliwości rozwoju zawodowego

Obowiązki:

• Projektowanie, tworzenie i rozwijanie podstawowych komponentów platformy danych z architekturą mikroserwisów, abstrakcji platformy i infrastruktury.
• Tworzenie i utrzymywanie niezbędnych SDK i bibliotek platformy danych, zgodnie z najlepszymi praktykami branżowymi.
• Projektowanie i rozwijanie frameworków połączeń oraz nowoczesnych połączeń do pobierania danych z różnych aplikacji zarówno lokalnie, jak i w chmurze.
• Projektowanie i optymalizacja przechowywania danych, przetwarzania oraz wydajności zapytań dla dużych zestawów danych, zgodnie z najlepszymi praktykami branżowymi.
• Projektowanie i rozwijanie frameworków jakości danych oraz procesów zapewniających dokładność i niezawodność danych.
• Współpraca z data scientistami, analitykami oraz zespołami międzyfunkcyjnymi w projektowaniu modeli danych, schematów baz danych i rozwiązań do przechowywania danych.
• Projektowanie i rozwijanie zaawansowanych analiz oraz możliwości uczenia maszynowego na platformie danych.
• Projektowanie i rozwijanie frameworków do monitorowania i zarządzania danymi oraz praktyk.
• Szerokie doświadczenie z cyklami wdrażania i wydawania zasobów danych, zapewniające solidną i skalowalną platformę.
• Aktualizacja z najnowszymi trendami, technologiami i najlepszymi praktykami w inżynierii danych.

Wymagania:

• 10+ lat (dla Senior), 15+ lat (dla Principal) udokumentowanego doświadczenia w nowoczesnej inżynierii danych w chmurze, architekturze danych, magazynach danych oraz inżynierii oprogramowania.
• Ekspertyza w projektowaniu, tworzeniu i budowaniu kompleksowych platform danych w środowisku GCP, zgodnie z wytycznymi najlepszych praktyk, takimi jak otwarte standardy, koszty, wydajność, czas wprowadzenia na rynek oraz minimalizacja zależności od dostawców.
• Solidne doświadczenie w budowaniu platform danych w środowisku GCP.
• Solidne doświadczenie w projektowaniu i rozwijaniu modułowych, rozproszonych komponentów platformy danych z architekturą mikroserwisów.
• Silne doświadczenie z Docker, Kubernetes i API.
• Biegłość w narzędziach i technologiach inżynierii danych - SQL, Python, Spark, DBT, Airflow, Kafka.
• Solidne doświadczenie we wdrażaniu pochodzenia danych, jakości danych oraz monitorowania danych dla big data workflows.
• Silne doświadczenie w nowoczesnym