Starszy Inżynier Danych

Opis firmy

Poszukujemy starszego inżyniera ds. Danych, który poprowadzi niewielki zespół, gdy transformujemy naszą prostą platformę danych w projekt analityczny oparty na samodzielnej obsłudze w chmurze.

KLIENT
Firma Sigma Software oferuje wysokiej jakości usługi z zakresu tworzenia oprogramowania, projektowania graficznego, testowania i wsparcia. Opracowaliśmy systemy, które przynoszą wyraźne korzyści naszym klientom w branżach samochodowej, telekomunikacyjnej, lotniczej, reklamowej, gierki, bankowej, nieruchomości oraz opieki zdrowotnej.

PROJEKT
W ramach wewnętrznego projektu w Sigma Software, naszymi głównymi celami jest automatyzacja raportowania i stworzenie systemu analityki danych w modelu samodzielnej obsługi dla naszej firmy. 

W tej roli będziesz odpowiadał za projektowanie i modelowanie danych w ramach DWH i Data Marts za pomocą Sparka i MS SQL. Dane te będą następnie udostępniane inżynierom BI, z którymi będziesz ściśle współpracować przy tworzeniu raportów za pomocą Apache Superset, między innymi tym, którzy korzystają z tych danych. Będziesz również współpracować z innymi członkami zespołu, którzy są zależni od tych danych. Ponadto, częścią Twoich obowiązków będzie przeniesienie naszego rozwiązania na miejsce do środowiska opartego na chmurze.

Opis stanowiska

• Naszym celem jest stworzenie solidnego systemu do zbierania, przetwarzania, analizowania i wizualizowania ogromnej ilości danych z różnorodnych źródeł.
• Położenie fundamentów i modelowanie danych.
• Opracowanie platformy do tworzenia i zarządzania potokami danych, które zbierają dane z różnych źródeł.
• Tworzenie magazynu danych (Data Warehouse).
• Współpraca z analitykami biznesowymi w celu analizy i przygotowania opisów domen.
• Tworzenie martów danych (Data Marts).
• Projektowanie modelu uprawnień, który umożliwia elastyczne zarządzanie pionowym i poziomym dostępem do danych.

Wymagania

• Rozumienie podstaw analizy danych, na przykład modelowania wymiarowego, ETL/ELT, narzędzi raportujących, zarządzania danymi, magazynowania danych i danych strukturalnych i niesktrukturalnych.
• Znaczna wiedza na temat SQL i doświadczenie z RDBMS, a także solidne zrozumienie podstaw baz danych.
• Doświadczenie w rozwijaniu baz danych i modelowaniu danych, preferowane z Databricks/Spark
• Doświadczenie z Pythonem
• Zrozumienie formatów serializacji i ich kompromisów (kolumnowy vs wierszowy).
• Doświadczenie w debugowaniu i optymalizacji zadań Sparka.
• Wysoko rozwinięte umiejętności komunikacji pisemnej i werbalnej.
• Znajomość języka angielskiego na poziomie zaawansowanym.
• Dyplom z informatyki lub pokrewnego kierunku.
• Doświadczenie z narzędziem Business Intelligence będzie atutem.