AWS Data Engineer

Miejsce pracy: Hyderabad, Indie

Opis roli:

Szukamy doświadczonego inżyniera danych AWS, który wzmocni naszą platformę danych następnej generacji. W tej kluczowej roli będziesz wykorzystywać najnowocześniejsze technologie, aby maksymalizować wartość biznesową naszych zasobów danych. Ściśle współpracując z zespołami międzyfunkcyjnymi, zapewnisz dostępność, jakość i niezawodność danych. Wykorzystaj swoje doświadczenie w przetwarzaniu w chmurze, infrastructure as code (IaC), programowaniu w Python, CI/CD i metodykach Agile, aby napędzać nasze inicjatywy danych.

Kluczowe obowiązki:

• Projektowanie i wdrażanie wydajnych procesów ETL i rurociągów danych.
• Budowanie ramki wprowadzania i przetwarzania danych, zarówno wsadowych, jak i strumieniowych.
• Identyfikowanie i rozwiązywanie wąskich gardeł wydajności w rurociągach danych i zapytaniach.
• Wdrażanie przy użyciu platform CI/CD (Jenkins, Shell Scripting, Testowanie jednostkowe/integracyjne).
• Intensywna praca z technologiami AWS (S3, DynamoDB, Glue, Athena, EMR, Redshift, Lambda, Kinesis, MSK, Airflow).
• Tworzenie oprogramowania w Python (PySpark/Spark SQL)/Java, używając Databricks.
• Wykorzystywanie zasad IaC do zarządzania zasobami w chmurze.
• Wdrażanie zarządzania danymi, metadanych, utrzymania, odzyskiwania po awarii i kontroli jakości.
• Konfiguracja systemów monitorowania, alertowania i logowania dla problemów z danymi.
• Stosowanie najlepszych praktyk Agile w cyklu życia oprogramowania.
• Efektywna współpraca i komunikacja z zespołami.

Wymagane kwalifikacje:

• 2-3 lata doświadczenia w procesach ETL, rurociągach danych i modelowaniu danych.
• Doświadczenie w ramach wprowadzania i przetwarzania danych.
• Biegłość w usługach AWS i programowaniu w Python/Java.
• Silna znajomość platform CI/CD i wdrożeń.
• Znajomość zarządzania danymi i kontroli jakości.
• Zaznajomienie z rozwojem oprogramowania Agile.
• Umiejętność współpracy i efektywnej komunikacji.

Polecane kwalifikacje:

• Preferowane 4+ lata doświadczenia.
• Znajomość standardów bezpieczeństwa danych (np. GDPR) i praktyk w sieci.
• Doświadczenie w rozwiązaniach API, Docker i Kubernetes.

Dlaczego warto nas wybrać:

Oprócz hojnego wynagrodzenia podstawowego, nasz program świadczeń i nagród jest zaprojektowany z myślą o rozwoju osobistym i zawodowym:

• Konkurencyjne wynagrodzenia oparte na doświadczeniu.
• Coroczna premia za wyniki.
• 30 dni płatnego urlopu.
• Ubezpieczenie zdrowotne dla Ciebie i Twoich bliskich do 5 osób.
• Dodatek na zainteresowania osobiste lub nowe umiejętności.
• Gotówka na nowe dodatki rodzinne (34 000 INR).
• 26 tygodni urlopu dla głównego opiekuna i 4 tygodnie urlopu dla drugorzędnego opiekuna.