Big Data Engineer

Przegląd stanowiska:

NorthBay Solutions aktywnie poszukuje doświadczonych Inżynierów Big Data z 2 do 3+ lat doświadczenia, aby wzmocnić nasz dynamiczny zespół. Idealni kandydaci wykażą się silnym zapleczem w inżynierii danych, ze szczególnym naciskiem na nowoczesne rozwiązania oparte na chmurze oraz solidną znajomością SQL. Ta kluczowa rola obejmuje projektowanie, implementację i utrzymanie potoków danych dla przetwarzania danych wsadowych i strumieniowych oraz wymaga skutecznego rozwiązywania problemów z danymi.

Lokalizacja i organizacja pracy

Dołącz do nas w naszych lokalizacjach w Lahore, Karaczi lub Islamabadzie. To stanowisko oferuje hybrydową formę pracy, umożliwiającą zarówno pracę w biurze, jak i zdalną, aby najlepiej dostosować się do Twoich potrzeb.

Podstawowe obowiązki

Inżynier Big Data będzie:

• Projektować, implementować i utrzymywać procesy ETL/ELT, kluczowe dla przetwarzania danych wsadowych i strumieniowych.
• Rozwijać i dopracowywać potoki danych przy użyciu najlepszych rozwiązań chmurowych do przechowywania danych i jezior danych, takich jak Snowflake, BigQuery, Redshift i Azure Synapse.
• Diagnozować i rozwiązywać problemy z danymi, dostarczając natychmiastowe remedium i adresując podstawowe przyczyny dla zrównoważonej wydajności.
• Wykorzystywać narzędzia AWS, w tym S3, DMS, Glue i Athena, do budowania skalowalnych i niezawodnych rozwiązań danych.
• Współpracować z interdyscyplinarnymi zespołami, aby dokładnie zrozumieć wymagania dotyczące danych, tworząc dopasowane rozwiązania, które napędzają cele biznesowe.
• Używać narzędzi transformacyjnych, takich jak dbt, do skutecznego modelowania i transformacji danych na potrzeby analityki i raportowania.

Wymagania obowiązkowe

Kandydat musi posiadać:

• Tytuł licencjata z nauk komputerowych, inżynierii lub pokrewnej dziedziny.
• Ponad 3 lata doświadczenia zawodowego w inżynierii danych.
• Zaawansowaną znajomość SQL i szerokie zaplecze w nowoczesnych chmurowych magazynach danych i jeziorach danych.
• Wyśmienity rekord w diagnozowaniu i rozwiązywaniu problemów związanych z danymi.
• Znajomość usług AWS, w tym S3, DMS, Glue i Athena.
• Doświadczenie z dbt lub podobnymi narzędziami transformacji danych.

Pożądane umiejętności

Cenimy dodatkowe umiejętności, takie jak:

• Znajomość programowania w Pythonie.
• Doświadczenie z narzędziami do infrastruktury jako kod, takimi jak Terraform i Terragrunt.
• Znajomość narzędzi do orkiestracji, takich jak Dagster, Airflow i AWS Step Functions.
• Rozumienie pub-sub, kolejkowania i frameworków strum