Senior/Lead Data Engineer - AWS Glue

Firma: Srijan Technologies

Lokalizacja: Gurgaon, Haryana, Indie

W Material przekształcamy wyzwania klientów w możliwości wzrostu. Jako globalny partner strategiczny współpracujemy z najbardziej rozpoznawalnymi markami i nowatorskimi firmami na świecie. Nasz globalny zespół realizuje projektowanie i dostarczanie satysfakcjonujących doświadczeń klientów napędzanych głębokimi wnioskami ludzkimi, innowacją projektową i najnowocześniejszą technologią. Przyspieszamy zaangażowanie i wzrost, przekształcając relacje między firmami a ich klientami.

Srijan, firma z grupy Material, to renomowana globalna firma inżynierii cyfrowej znana z rozwiązywania skomplikowanych problemów technologicznych przy użyciu głębokiej wiedzy i strategicznych partnerstw. Dołącz do nas i stań się częścią Wspaniałej Rodziny.

Poszukujemy wysoce wykwalifikowanego i zmotywowanego Inżyniera Danych, który dołączy do naszego dynamicznego zespołu. Idealny kandydat będzie miał bogate doświadczenie w pracy z AWS Glue, Apache Airflow, Kafka, SQL, Python oraz narzędziami DataOps. Znajomość SAP HANA i Snowflake będzie dodatkowym atutem. Ta kluczowa rola obejmuje projektowanie, rozwijanie i utrzymywanie architektury przepływów danych klienta, zapewniając wydajny i niezawodny przepływ danych w całej organizacji.

• Projektowanie, rozwój i utrzymanie przepływów danych: Tworzenie solidnych i skalowalnych przepływów danych przy użyciu AWS Glue, Apache Airflow i innych odpowiednich technologii. Integracja różnych źródeł danych, w tym SAP HANA, Kafka i baz danych SQL.
• Zarządzanie danymi i transformacja: Projektowanie i wdrażanie procesów przekształcania danych przy użyciu SQL i Pythona. Zapewnienie jakości i integralności danych poprzez rygorystyczne testowanie i walidację.
• Współpraca i komunikacja: Ścisła współpraca z data scientistami, analitykami i interesariuszami w celu zrozumienia wymagań danych. Współpraca z zespołami międzyfunkcyjnymi w celu wdrożenia praktyk DataOps.
• Monitorowanie i optymalizacja: Monitorowanie wydajności przepływów danych i wprowadzanie usprawnień. Rozwiązywanie problemów związanych z danymi oraz zarządzanie systemami monitoringu i alertowania.
• Dokumentacja i najlepsze praktyki: Utrzymanie kompleksowej dokumentacji przepływów danych i procesów. Przestrzeganie najlepszych praktyk inżynierii danych, w tym wersjonowania kodu, testowania i procedur wdrożeniowych.

Umiejętności techniczne

• Duże doświadczenie w pracy z AWS Glue dla integracji i transformacji danych.
• Biegłość w korzystaniu z Apache Airflow do orkiestracji przepływów pracy.
• Silna znajomość Kafka do strumieniowania danych w czasie rzeczywistym.
• Zaawansowane umiejętności SQL do zapytań i zarządzania bazami danych.
• Biegłość w Pythonie do zadań skryptowania i automatyzacji.
• Doświadczenie w pracy z SAP HANA do przechowywania i zarządzania danymi.
• Znajomość narzędzi i metodologii DataOps.

Preferowane umiejętności

• Znajomość Snowflake do rozwiązań hurtowni danych w chmurze.
• Doświadczenie z innymi usługami danych AWS, takimi jak Redshift, S3 i Athena.