Sr. Data Engineer

W Cargill, nasza ogromna wielkość i skala dają nam unikalną możliwość pozytywnego wpływania na świat. Jesteśmy zaangażowani w bezpieczne, odpowiedzialne i zrównoważone odżywianie świata. Jako firma rodzinna dostarczamy żywność, składniki, rozwiązania rolnicze i produkty przemysłowe niezbędne na co dzień. Łączymy rolników z rynkami, aby pomóc im prosperować, i łączymy klientów ze składnikami, aby tworzyć posiłki, które ludzie kochają. Od jaj po oleje jadalne, od soli po kosmetyki i od pasz po paliwa alternatywne, nasi 160,000 pracownicy w 70 krajach produkują niezbędne produkty, które codziennie dotykają miliardy żyć. Dołącz do nas w Cargill, aby osiągnąć wyższy cel.

Starszy Inżynier Danych będzie projektować, budować i obsługiwać wysokowydajne rozwiązania skoncentrowane na danych przy użyciu zaawansowanych możliwości big data w naszym środowisku platformy danych. W tej kluczowej roli będziesz pełnić funkcję eksperta w zakresie ścieżek dostępu do danych i technik, współpracując z analitykami w zespole analityki danych funkcjonalnych. Twoje obowiązki obejmują projektowanie struktur danych i pipeline'ów, wdrażanie transformacji danych, kombinacji i agregacji.

• Współpraca z biznesami, właścicielami aplikacji i procesów oraz zespołami produktowymi w celu definiowania wymagań i projektowania rozwiązań big data i analitycznych.
• Uczestniczenie w procesach decyzyjnych związanych z architekturą rozwiązań.
• Opracowywanie rozwiązań technicznych przy użyciu technologii big data i chmurowych, zapewniając ich trwałość i solidność.
• Modelowanie danych, przygotowywanie danych w bazach danych do narzędzi analitycznych oraz konfigurowanie i rozwijanie pipeline'ów danych w celu optymalizacji zasobów danych.
• Zapewnianie wsparcia technicznego we wszystkich fazach cyklu życia rozwiązania.
• Budowanie prototypów w celu testowania nowych koncepcji, wnoszenie pomysłów i kodu w celu ulepszenia infrastruktury oprogramowania, wzorców i standardów.
• Promowanie wdrażania nowych technologii i metod w zespole danych funkcjonalnych i analitycznych oraz mentoring młodszych inżynierów danych.
• Samodzielne radzenie sobie z złożonymi zagadnieniami przy minimalnym nadzorze, eskalując jedynie najtrudniejsze problemy w razie potrzeby.
• Wykonywanie innych obowiązków zgodnie z potrzebami.

Kwalifikacje

Minimalne Kwalifikacje

• Tytuł licencjata w pokrewnej dziedzinie lub równoważne doświadczenie.
• Minimum cztery lata doświadczenia zawodowego w pokrewnej dziedzinie.
• Zaawansowane umiejętności w języku angielskim, zarówno w mowie, jak i w piśmie.

Preferowane Kwalifikacje

• Doświadczenie z narzędziami do zbierania i ładowania danych, takimi jak AWS Glue, Kafka Connect i Flink.
• Doświadczenie w zarządzaniu dużymi, heterogenicznymi zestawami danych za pomocą narzędzi takich jak Iceberg, Parquet, Avro, ORC, S3, HFDS, HIVE i Kudu.
• Doświadczenie z narzędziami do transformacji i modelowania, w tym strukturami transformacji opartymi na SQL, frameworkami do orkiestracji i zapewnienia jakości, takimi jak dbt, Apache Nifi, Talend, AWS Glue, Airflow, Dagster, Great Expectations i O