Inżynier Danych

Opis Stanowiska: Nawy Proptech poszukuje zaangażowanego i wykwalifikowanego Inżyniera Danych, który dołączy do naszego energicznego zespołu. Jako Inżynier Danych, kluczowym aspektem twojej roli będzie zarządzanie naszymi strategiami zarządzania danymi i analiz. Będziesz ściśle współpracować z naszymi naukowcami ds. danych, analitykami i inżynierami oprogramowania, aby planować, generować i utrzymywać kanały przepływu danych, zapewniając, że nasze dane są zawsze dostępne i niezawodne do analizy i podejmowania decyzji biznesowych. Obowiązki: 1. Opracowywanie Kanałów Przepływu Danych: Opracowywanie, budowanie i utrzymanie solidnych, skalowalnych kanałów przepływu danych do pobierania, przetwarzania i transformacji danych z różnych źródeł, w tym baz danych wewnętrznych i zewnętrznych API. 2. Integracja Danych: Współpraca z interdyscyplinarnymi zespołami w celu łączenia danych z różnorodnych systemów i źródeł, zapewnienie dokładności i spójności danych. 3. Zapewnienie Jakości Danych: Przeprowadzanie walidacji danych i kontroli jakości mających na celu wykrycie i naprawienie problemów w kanałach przepływu danych, utrzymanie integralności danych. 4. Procesy ETL: Tworzenie i optymalizacja procesów ETL (Extract, Transform, Load) zapewniających terminową dostarczanie danych, wspieranie wymogów biznesowej inteligencji i analizy danych. 5. Modelowanie Danych: Wspieranie strategii modelowania danych, obejmujących projektowanie struktur i schematów danych w celu spełnienia wymagań analitycznych i raportowania. 6. Optymalizacja Wydajności: Monitorowanie i poprawa wydajności i efektywności kanałów przepływu danych i baz danych, wprowadzanie niezbędnych dostosowań do wymogów SLA. 7. Bezpieczeństwo Danych: Implementacja środków bezpieczeństwa danych i kontroli dostępu w celu ochrony wrażliwych danych i zapewnienia zgodności z przepisami o ochronie prywatności danych. 8. Dokumentacja: Prowadzenie szczegółowej dokumentacji kanałów przepływu danych, procedur i systemów w celu wymiany wiedzy i przyszłych odniesień. 9. Rozwiązywanie Problemów i Wsparcie: Udzielanie niezbędnego wsparcia związanego z problemami i incydentami dotyczącymi danych, ustalanie przyczyn i szybkie wdrażanie rozwiązań. 10. Współpraca: Ścisła współpraca z naukowcami ds. danych oraz analitykami w celu zrozumienia ich wymagań dotyczących danych i dostarczenia im odpowiednich narzędzi i infrastruktury danych. Wymagania - Znajomość platform danych opartych na chmurze (na przykład AWS, Azure, GCP). - Zrozumienie narzędzi do orkiestracji danych (na przykład Apache Airflow, dbt). - Znajomość konteneryzacji i orkiestracji (na przykład Docker, Kubernetes). - Zrozumienie najlepszych praktyk związanych z bezpieczeństwem danych i zgodnością.