Principal Developer - Data Integration Engineer - ETL/DevOps

Opis firmy

W Western Digital nie jesteśmy tylko firmą technologiczną. Napędzamy globalną innowację i redefiniujemy to, co możliwe, przekształcając pomysły w rzeczywistość. Nasz dynamiczny zespół rozwiązywaczy problemów umożliwił osiągnięcia od dostarczania technologii, która pozwoliła człowiekowi stanąć na Księżycu, po napędzanie systemów intensywnie wykorzystujących dane, które ożywiają inteligentne miasta i połączone samochody. Jako kluczowy partner niektórych z najbardziej ekscytujących przedsięwzięć na świecie, Western Digital napędza jaśniejszą, inteligentniejszą przyszłość dzięki naszym rozwiązaniom skoncentrowanym na danych pod naszymi rozpoznawalnymi markami: Western Digital®, G-Technology™, SanDisk®, i WD®.

Opis stanowiska: Główny programista - Inżynier integracji danych - ETL/DevOps

Zadania i obowiązki

• Projektowanie, testowanie i wdrażanie skalowalnych łańcuchów integracji danych za pomocą narzędzi opartych o chmurę zgodnych z naszymi zasadami projektowania.
• Skuteczne rozwiązywanie problemów i optymalizacja wydajności istniejących łańcuchów za pomocą BASH, Pythona i Javy.
• Projektowanie i implementacja nowych łańcuchów danych na AWS EMR z użyciem Java/Spark/Scala oraz zarządzanie przepływami pracy za pomocą AirFlow.
• Ulepszanie układów tabeli danych, aby przyspieszyć ładowanie i optymalizować wydajność zapytań.
• Debugowanie i optymalizacja instrukcji SQL oraz procedur składowanych w Postgres i Redshift.
• Wykorzystanie kontroli źródła opartej na git przez Bitbucket i wykorzystanie narzędzi CI/CD, w tym Jenkins i Ansible, dla solidnych strategii wdrażania.

Kwalifikacje

• Licencjat w dziedzinie informatyki lub inżynierii, preferowane magisterium.
• Bardzo pożądane jest posiadanie certyfikatu AWS Developer.
• Doświadczenie (min. 8 lat) w integracji danych/inżynierii danych z kompleksową wiedzą na temat narzędzi ETL zarówno chmurowych, jak i lokalnych.
• Znajomość BASH, Pythona, Javy oraz doświadczenie z programami Spark/Scala na AWS EMR.
• Znajomość narzędzi CI/CD (Bitbucket, Jenkins, Ansible, Docker) będzie dodatkowym atutem.
• Silne zrozumienie systemów baz danych relacyjnych, architektury MPP, systemów operacyjnych Unix/Linux oraz programowania SQL.

Dodatkowe informacje

W Western Digital jesteśmy zobowiązani do zapewnienia inkluzywnego i zróżnicowanego środowiska pracy, gdzie każdy pracownik może rozwijać się. Zobowiązujemy się do zapewnienia równych szans we wszystkich aspektach zatrudnienia, od rekrutacji po ocenę pracy. Celebrujemy różnorodność i jesteśmy zobowiązani do tworzenia inkluzji dla wszystkich pracowników.

Oprócz konkurencyjnego wynagrodzenia i struktury bonusowej oferujemy obszerny pakiet korzyści, który obejmuje ubezpieczenie med