Senior Big Data Application Engineer (Remote)

Podsumowanie Opisu Stanowiska:

Grupa Global Technology and Operations (GTO) w IQVIA rozszerza swoje obowiązki. Aby skutecznie zarządzać zwiększonym zakresem, poszukujemy do naszego zespołu Starszego Inżyniera Aplikacji Big Data.

Dołącz do naszego Biura Danych jako Starszy Inżynier Aplikacji Big Data, gdzie odegrasz kluczową rolę w optymalizacji działań naszej Fabryki Big Data. Nasz dynamiczny zespół zarządza ponad 40 petabajtami danych na tysiącach obciążeń na publicznych i prywatnych platformach Hadoop CDP, w Snowflake Data Cloud i Databricks. Twoja rola będzie kluczowa w prowadzeniu optymalizacji przy minimalnym nadzorze, zapewniając, że procesy big data są jak najbardziej efektywne i koszt-efektywne.

• Rozwijanie zaawansowanych optymalizacji opartych na Spark, aby zapewnić optymalną wydajność i koszt-efektywność naszej infrastruktury platformy danych na miejscu i w chmurze.
• Wykorzystywanie głębokiej wiedzy na temat Scala, Python, SQL i TEZ do osiągania znaczących oszczędności kosztów i poprawy wydajności.
• Inicjowanie procesów automatyzacji transferu danych i wdrażania strategii ponownego wykorzystania oraz archiwizacji danych, znacznie redukując koszty przechowywania i przetwarzania.
• Opracowywanie i egzekwowanie najlepszych praktyk i standardów dla rozwijania i wdrażania aplikacji Spark, aby zapewnić spójność i niezawodność w naszym ekosystemie big data.
• Przeprowadzanie dogłębnych analiz wydajności aplikacji Spark, optymalizowanie kodu i zapytań w celu osiągnięcia szczytowej efektywności.
• Optymalizacja wykorzystania naszych platform BI poprzez dostosowywanie modeli danych i pulpitów nawigacyjnych do przetwarzania i analizy big data.
• Tworzenie i dostarczanie materiałów szkoleniowych skupionych na technikach optymalizacji Spark i najlepszych praktykach dla zasobów naszej jednostki biznesowej.

• Tytuł licencjata w dziedzinie Informatyki, Inżynierii lub pokrewnej; preferowany tytuł magistra; lub równoważne doświadczenie zawodowe.
• Co najmniej 8 lat dogłębnego doświadczenia w inżynierii danych z naciskiem na tworzenie aplikacji na Spark i SQL.
• Udokumentowana znajomość technologii big data, w tym Apache Spark, Scala, Python, SQL i TEZ.
• Udokumentowane osiągnięcia w zakresie znaczących oszczędności kosztów i poprawy wydajności w środowisku big data.
• Doświadczenie w optymalizacji kodu Spark, zapytań Impala i strategii partycjonowania Hive w celu zwiększenia skalowalności, niezawodności i wydajności.
• Biegłość w optymalizacjach wydajności Hive, takich jak wykorzystywanie pamięci podręcznej dla małych zestawów danych, partycje danych, bucketing w Hive i złącza po stronie mapy.
• Doświadczenie w zarządzaniu danymi i optymalizacji z Snowflake, Databricks, Oracle i Cloudera.
• Wyjątkowe zdolności analityczne i rozwiązywania problemów, zdolność do przeprowadzania szczegółowej analizy technicznej w celu odkrycia możliwości optymalizacji.
• Doskonale rozwinięte umiejętności komunikacyjne, zdolność do prowadzenia zespołów międzyfunkcyjnych i wyjaśniania złożonych koncepcji technicznych nie-technicznym interesariuszom.

IQVIA jest wiodącym globalnym dostawcą zaawansowanych analiz, rozwiązań technologicznych i usług badaw