DataOps -

Oferta pracy na stanowisko DataOps Engineer w Alter Solutions

Opis stanowiska

Główne obowiązki

Reakcja na incydenty:

• Zrozumienie i skuteczne rozwiązywanie problemów użytkowników.
• Odtwarzanie i diagnozowanie błędów lub problemów zgłaszanych przez użytkowników.
• Przeprowadzanie analizy przyczyn źródłowych w celu szybkiego usunięcia problemów.
• Identyfikacja, naprawa, testowanie i komunikowanie rozwiązania użytkownikom końcowym.
• Dokumentowanie kroków rozwiązania i pomoc w śledzeniu wszystkich problemów poprzez postmortem.
• Monitorowanie bieżących procesów i infrastruktury oraz rozwiązywanie błędów/problemów na podstawie monitoringu i alertów.

Utrzymanie:

• Ciężkie monitorowanie procesów i infrastruktury w celu wykrycia potencjalnych problemów.
• Aktualizacja konfiguracji w celu zachowania płynności działania.

Optymalizacja baz danych:

• Wykorzystanie pulpitów do śledzenia kosztów i czasów przetwarzania.
• Informowanie użytkowników o nieefektywnych metodach zapytań, które zwiększają koszty.
• Identyfikacja i optymalizacja zadań, widoków i tabel w celu poprawy wydajności i efektywności kosztowej.

Zarządzanie infrastrukturą:

• Zarządzanie infrastrukturą za pomocą Terraform.
• Propozycja i dzielenie się najlepszymi praktykami branżowymi.
• Usuwanie zbędnej infrastruktury, takiej jak zbędne usługi, tabele lub maszyny wirtualne.

Wdrożenia:

• Koordynacja przyszłych wdrożeń z Data Architectami oraz udział w przeglądach wdrożeń.
• Promowanie i dzielenie się najlepszymi praktykami wdrożeniowymi.
• Wsparcie Data Engineers podczas procesu wdrażania oraz w okresie aktywnego monitorowania po wdrożeniu.
• Zapewnienie ścisłego przestrzegania protokołów wdrożeniowych, strategii logowania i monitorowania.
• Integracja nowo wdrożonych procesów w bieżący proces.

Wymagane umiejętności techniczne

• Google Cloud Platform: Dogłębna znajomość i co najmniej roczne doświadczenie.
• Apache Airflow: Minimum dwa lata doświadczenia, znajomość Google Composer jest dodatkowym atutem.
• Google BigQuery: Dogłębne doświadczenie przynajmniej 4 lata, w tym optymalizacja tabel i zapytań oraz projektowanie architektury baz danych.
• Terraform: Dwa lata doświadczenia oraz znajomość najlepszych praktyk GitOps.
• Apache Spark: Ekspertyza jest opcjonalna, ale ceniona, niektóre pipeline'y używają pySpark.

Dodatkowa wiedza i doświadczenie (mile widziane, ale nie wymagane)

• Pub/Sub
• Kafka
• Azure Analysis Services
• Optymalizacja Google Cloud Storage

Informacje o firmie

Nazwa firmy: Alter Solutions

Stanowisko: DataOps Engineer