Inżynier Danych (Databricks)

Opis stanowiska:

Jako Inżynier Danych Azure pełnisz kluczową rolę w projektowaniu, rozwijaniu i utrzymaniu rozwiązań danych na platformie Azure. Twoje główne obowiązki polegają na tworzeniu i optymalizacji potoków danych, zapewnieniu jakości danych i implementacji logiki przetwarzania i transformacji danych. Aby odnieść sukces na tym stanowisku, potrzebujesz wiedzy na temat Azure Databricks, Pythona, SQL, Azure Data Factory (ADF) i PySpark/Scala. Twoja praca pozwoli na podejmowanie decyzji opartych na danych i wydobywanie z nich wiedzy dla naszej organizacji.

Kluczowe obowiązki:

1. Projektowanie i tworzenie potoków danych:

- Projektuj i wykonuj skalowalne i efektywne potoki danych przy użyciu Azure Databricks, PySpark i Scala.

- Nadzoruj procesy pobierania danych, ich transformacji i ładowania.

2. Modelowanie danych i projektowanie baz danych:

- Formułuj i wykonywuj modele danych, aby ułatwić efektywne przechowywanie, odzyskiwanie i analizę danych.

- Współpracuj z relacyjnymi bazami danych, danymi jeziorami i innymi rozwiązaniami do przechowywania danych na platformie Azure.

3. Integracja danych i orkiestracja:

- Wykorzystuj Azure Data Factory (ADF) do orkiestracji przepływów pracy związanych z integracją danych.

- Zarządzaj przepływem danych między różnymi źródłami danych i celami, w tym harmonogramowaniem i monitorowaniem potoków danych.

4. Jakość danych i zarządzanie nimi:

- Wprowadzaj kontrole jakości danych, reguły walidacji i procesy zarządzania danymi.

- Zapewnij dokładność danych, spójność i przestrzeganie odpowiednich przepisów i norm.

5. Optymalizacja wydajności:

- Optymalizuj potoki danych i zapytania, aby zwiększyć wydajność systemu i zminimalizować czas przetwarzania.

- Dostosowuj zapytania SQL, optymalizuj logikę transformacji danych i korzystaj z technik pamięci podręcznej, gdy jest to wymagane.

6. Monitorowanie i rozwiązywanie problemów:

- Nieustannie obserwuj potoki danych i wykrywaj problemy z wydajnością.

- Aktywnie rozwiązuj problemy związane z pobieraniem danych, ich przetwarzaniem i transformacją.

- Współpracuj z zespołami wielofunkcyjnymi w celu rozwiązania problemów związanych z danymi.

7. Dokumentowanie i współpraca:

- Dokumentuj potoki danych, przepływy danych i procesy transformacji danych.

- Blisko współpracuj z naukowcami zajmującymi się danymi, analitykami i innymi zainteresowanymi stronami, aby zrozumieć ich potrzeby dotyczące danych i dostarczyć wsparcie inżynieryjne.

Wymagania

Min. 5 lat doświadczenia na stanowisku Inżyniera Danych.

- Znajomość programowania w Pythonie lub Scali.

- Wyjątkowe umiejętności rozwiązywania problemów w środowisku big data.

- Doświadczenie w budowaniu potoków danych, architektur i zestawów danych z różnych aplikacji biznesowych.

- Znajomość systemów kolejkowania wiadomości, przetwarzania strumieniowego i skalowalnych magazynów danych 'big data'.

- Przedsiębiorczość, zaangażowanie w dostarczanie wyników wysokiej jakości.

- Wykształcenie wyższe w dziedzinie informatyki lub pokrewnej, takiej jak matematyka stosowana.

- Doświadczenie w technicznej roli związanej z obsługą klienta (najlepiej jako inżynier rozwiązań) lub chęć podjęcia takiej roli.

- Głęboka wiedza na temat Azure Databricks, Pythona, SQL, ADF, PySpark i Scala.

- Znajomość projektowania i tworzenia potoków danych oraz procesów ETL.

- Solidne zrozumienie koncepcji modelowania danych i zasad projektowania baz danych.

- Znajomość integracji danych i orkiestracji przy użyciu Azure Data Factory.