Sr Big Data Engineer (GCP)- Airflow and Oozie

O roli:

Poszukujemy doświadczonego Starszego Inżyniera ds. Big Data, aby wzmocnić nasz dynamiczny zespół w Rackspace Technology. Kandydat powinien posiadać dogłębną wiedzę na temat rozwijania i optymalizacji systemów przetwarzania wsadowego oraz doskonałą znajomość technologii chmury publicznej, szczególnie Google Cloud Platform (GCP). Nasz idealny kandydat doskonale odnajduje się w środowisku pracy zdalnej, wykazuje wyjątkowe umiejętności komunikacyjne oraz jest w stanie samodzielnie rozwiązywać złożone wyzwania, oferując innowacyjne rozwiązania.

- Tworzenie wysokiej jakości, skalowalnego i solidnego kodu dla systemów przetwarzania wsadowego, z wykorzystaniem narzędzi takich jak Hadoop, Oozie, Pig, Hive, Map Reduce, Spark (Java) i Python.

- Projektowanie, zarządzanie i optymalizacja przepływów danych przy użyciu Oozie i Airflow w ekosystemie Apache Hadoop.

- Wykorzystanie GCP do skutecznego przetwarzania i przechowywania dużych zbiorów danych.

- Implementacja najlepszych praktyk automatyzacji/DevOps, takich jak CI/CD i Infrastructure as Code (IaC).

- Głębokie doświadczenie z zarządzanymi usługami GCP oraz rozumienie systemów przetwarzania wsadowego opartych na chmurze.

- Silne umiejętności programowania w Java (szczególnie Spark), Python, Pig i SQL.

- Ekspertyza w zakresie usług chmury publicznej, ze szczególnym uwzględnieniem GCP, oraz znajomość BigTable i Redis.

- Znajomość ekosystemu Apache Hadoop, w tym Oozie, Pig, Hive i Map Reduce.

- Doświadczenie z zasadami i narzędziami DevOps dla ciągłej integracji i wdrażania (CI/CD), oraz Infrastructure as Code (IaC) jak Terraform.

- Doskonałe umiejętności rozwiązywania problemów z umiejętnością krytycznego myślenia i oferowania innowacyjnych rozwiązań.

- Udowodniona zdolność do skutecznej pracy w środowisku zdalnym ze silnymi umiejętnościami komunikacji pisemnej i słownej.

- Rozległe doświadczenie w inżynierii systemów przetwarzania wsadowego na dużą skalę.

- Certyfikat Inżyniera Chmury Google Associate lub inne profesjonalne certyfikaty Google Cloud.

- Co najmniej 10 lat doświadczenia w bezpośrednim kontakcie z klientem w rolach związanych z oprogramowaniem/technologią lub w doradztwie.

- Minimum 5 lat doświadczenia z migracjami "z miejsca na chmurę" lub transformacjami IT.

- Ponad 5 lat budowania i obsługi rozwiązań na GCP, AWS lub Azure.

- Wykształcenie techniczne w zakresie informatyki, inżynierii oprogramowania lub pokrewne.

Jako eksperci od rozwiązań wielochmurowych, łączymy naszą wiedzę ze światowymi technologiami w zakresie aplikacji, danych i bezpieczeństwa, aby dostarczać kompletne rozwiązania. Sławimy się doradzaniem klientom na podstawie ich wyzwań biznesowych, projektowaniem skalowalnych rozwiązań i