Data Engineering Lead

Architektura i projektowanie danych: Projektowanie i wdrażanie skalowalnych i wydajnych architektur danych w celu wsparcia potrzeb organizacji w zakresie przetwarzania danych. Ścisła współpraca z zespołami międzyfunkcyjnymi w celu zrozumienia wymagań dotyczących danych i zapewnienia, że rozwiązania danych są zgodne z celami biznesowymi.

Rozwój ETL: Nadzorowanie rozwoju solidnych procesów ETL w celu ekstrakcji, transformacji i ładowania danych z różnych źródeł do magazynu danych. Zapewnienie jakości i integralności danych w całym procesie ETL, wdrażanie najlepszych praktyk w zakresie oczyszczania i walidacji danych.

Technologie Big Data: Śledzenie najnowszych trendów i technologii w dziedzinie big data i analityki oraz ocena ich przydatności do strategii danych organizacji. Wdrażanie i optymalizacja technologii big data w celu efektywnego przetwarzania i analizowania dużych zbiorów danych.

Integracja z chmurą: Współpraca z zespołem infrastruktury IT w celu integracji rozwiązań inżynierii danych z platformami chmurowymi, zapewniając skalowalność, bezpieczeństwo i wydajność.

Monitorowanie i optymalizacja wydajności: Wdrażanie narzędzi i procesów monitorowania w celu śledzenia wydajności przepływów danych i proaktywnego rozwiązywania wszelkich problemów. Optymalizacja przepływów przetwarzania danych w celu zwiększenia efektywności i wykorzystania zasobów.

Dokumentacja: Utrzymywanie kompleksowej dokumentacji procesów inżynierii danych, modeli danych i architektury systemu. Zapewnienie, że członkowie zespołu przestrzegają standardów dokumentacji i najlepszych praktyk.

Współpraca i komunikacja: Współpraca z naukowcami danych, analitykami i innymi interesariuszami w celu zrozumienia ich potrzeb dotyczących danych i dostarczania rozwiązań spełniających te wymagania. Skuteczna komunikacja z technicznymi i nietechnicznymi interesariuszami, dostarczanie aktualizacji statusu projektu, wyzwań i możliwości.

Licencjat lub magister z zakresu informatyki, technologii informacyjnej lub pokrewnej dziedziny.

6-8 lat doświadczenia zawodowego w inżynierii danych.

Dogłębna znajomość modelowania danych, procesów ETL i magazynowania danych.

Ekspertyza w budowaniu magazynów danych przy użyciu Snowflake.

Doświadczenie w zakresie wczytywania danych, jezior danych, sieci danych i zarządzania danymi.

Biegłość w programowaniu w Pythonie.

Silne zrozumienie technologii i frameworków big data, takich jak Hadoop, Spark i Kafka.

Doświadczenie z platformami chmurowymi, takimi jak AWS, Azure lub Google Cloud.

Zaznajomienie z systemami baz danych, w tym SQL, NoSQL, i narzędziami do orkiestracji przepływów danych.

Doskonałe umiejętności rozwiązywania problemów i analityczne.

Silne umiejętności komunikacyjne i interpersonalne.

Udowodniona zdolność do pracy zespołowej w szybkim, dynamicznym środowisku.

Aplikuj na platformie Lifelancer pod poniższym linkiem, aby przejść etapy weryfikacji i uzyskać szybszą odpowiedź:

https://lifelancer.com/jobs/view/b381a7ab133a710f462ade7559501b9b