Opis:
Rackspace poszukuje doświadczonego Inżyniera Danych, który dołączy do naszego zespołu w Sydney. Idealny kandydat będzie doskonale budować i utrzymywać struktury inżynierii danych takie jak DBT, SQLMesh i Coalesce w środowiskach AWS EMR/Glue. Ta rola jest kluczowa dla praktycznego rozwijania i optymalizacji potoków danych, zapewniając, że są one zgodne z naszą strategią danych banku i są wysoce wydajne.
Główne obowiązki:
- Doświadczenie w korzystaniu z usług danych AWS, w tym AWS EMR, Glue, S3, Redshift i innych powiązanych technologii.
- Udokumentowane doświadczenie w budowaniu zaawansowanych szkieletów inżynierii danych na AWS EMR/Glue, Apache Spark i innych technologiach usług danych AWS.
- Silne zrozumienie pisania wydajnego, niezawodnego i łatwego w utrzymaniu kodu do zarządzania przepływami danych.
- Solidne podstawy w inżynierii oprogramowania, w tym Projektowanie Obiektowe (OOD) i wzorce projektowe.
- Optymalizacja potoków przetwarzania danych pod kątem wydajności i skalowalności.
- Współpraca z architektami danych w celu wdrożenia najlepszych praktyk i poprawy możliwości struktury danych.
- Pomoc w rozwiązywaniu problemów technicznych i zapewnianie wsparcia zespołowi inżynierii danych.
Minimalne kwalifikacje:
- Licencjat z Informatyki, Inżynierii lub pokrewnego kierunku technicznego.
- 3+ lat praktycznego doświadczenia z usługami AWS, w szczególności EMR i Glue.
- Biegłość w budowaniu struktur inżynierii danych takich jak DBT, SQLMesh lub Coalesce.
- Solidne zrozumienie SQL, modelowania danych i procesów ETL.
Preferowane kwalifikacje:
- Doświadczenie w systemach kontroli wersji i potokach CI/CD.
- Znajomość dodatkowych usług AWS i narzędzi analizy danych.
Dodatkowe informacje:
Nazwa firmy: Rackspace
Stanowisko: AWS Data Engineer - AU
Lokalizacja: Sydney