Big Data Engineer (PySpark)

Dołącz do Capgemini jako Inżynier Big Data (PySpark)

Role i obowiązki:

• Projektowanie i rozwijanie projektów przetwarzania danych przy użyciu Spark Scala i PySpark.
• Implementacja solidnych testów jednostkowych dla transformacji danych i metod pomocniczych.
• Wykorzystanie Spark i Spark SQL do efektywnego zarządzania danymi i analiz w Hive przy użyciu Scala API.
• Współpraca z analitykami biznesowymi w celu weryfikacji wyników testów i osiągnięcia akceptacji projektów.
• Dokumentowanie projektu i procedur operacyjnych w celu przewodnictwa przyszłym procesom i implementacjom.
• Zapewnienie wysokiej jakości dostaw poprzez dokładne recenzje kodu równoległego i przestrzeganie standardów jakości.
• Uczestnictwo w wspólnym tworzeniu kodu, w tym programowaniu parami.
• Przyczynianie się do wysiłków zespołowych poprzez tworzenie kodu wysokiej jakości, który można utrzymać.

Kwalifikacje i wymagania:

• Udowodnione doświadczenie, od 4 do 10 lat, jako Inżynier Danych Hadoop.
• Wyraźne umiejętności w ekosystemach Hadoop takich jak Spark, Scala, PySpark, Python, Hive i Impala.
• Zręczność w dodatkowych narzędziach takich jak Oracle, Spark Streaming, Kafka oraz podstawowych koncepcjach uczenia maszynowego.
• Opanowanie praktyk Agile, ciągłej integracji i wdrażania (CI/CD) oraz narzędzi takich jak Git, Jenkins i dystrybucja Cloudera.
• Dokładne zrozumienie manipulacji strukturami danych, systemów rozproszonych, rozwoju aplikacji i automatyzacji.
• Poprzednie doświadczenie w sektorze bankowości lub finansów będzie miało duże znaczenie.
• Doświadczenie w chmurze obliczeniowej, szczególnie z AWS, będzie uznane za silny atut.

Rozpocznij ekscytującą ścieżkę kariery w Capgemini, wykorzystując swoją wiedzę na temat Big Data i technologii ekosystemowych do prowadzenia transformatywnych projektów i innowacyjnych rozwiązań. Aplikuj już dziś, aby dołączyć do globalnie szanowanego zespołu jako Inżynier Big Data specjalizujący się w PySpark!