Starszy Inżynier Danych - AWS/Scala (Praca zdalna / Praca z domu)

Centrum Doskonałości w zakresie Wsparcia Cyfrowego IQVIA poszukuje starszego inżyniera danych, który może pracować zdalnie z dowolnego miejsca w Kanadzie. Naszym celem jest rewolucja w zakresie obsługi klienta, wprowadzenie nowoczesnych, wielokanałowych opowieści, zintegrowanego zestawu pomiarowego oraz optymalizacji kampanii w czasie rzeczywistym. Wszystkie te elementy są napędzane przez kompleksowe dane i system operacyjny niezależny od platformy dla inteligentnego marketingu i analityki w ochronie zdrowia. Uproszczamy skomplikowane przepływy pracy, skracając je z dni do sekund, a także integrujemy funkcje, pod jednym „dachem” pozwalając to markom koncentrować swój czas i zasoby na uzyskiwaniu rezultatów w rzeczywistym świecie. Jako starszy inżynier danych w Centrum Doskonałości, Twoja rola będzie kluczowa w projektowaniu, rozwijaniu oraz utrzymaniu infrastruktury i systemów niezbędnych do efektywnego przetwarzania, przechowywania i analizy danych dla naszych produktów AIM, Email i HCN. Jako członek wielofunkcyjnego zespołu scrum, będziesz ściśle współpracować z innymi inżynierami oprogramowania, naukowcami zajmującymi się danymi, testerami oprogramowania, oraz właścicielami produktu, aby zapewnić płynny przepływ danych w całej organizacji, co z kolei ułatwi podejmowanie decyzji opartych na danych i wnioskach. Ta rola wymaga solidnego zrozumienia architektury danych i umiejętności programowania w Spark i Scala, połączonych z pasją do pracy z dużymi i skomplikowanymi zestawami danych. Kluczowe obowiązki: 1) Rozwój Spark: projektowanie, budowanie i utrzymanie skalowalnych i niezawodnych tras danych za pomocą Apache Spark. 2) Rozwój przeflowów danych: projektowanie, implementacja i optymalizacja przepływów danych w celu ekstrakcji, transformacji i załadunku (ETL) danych z różnych źródeł do systemów przechowywania i przetwarzania danych. Wykorzystanie funkcji przetwarzania danych Spark do przeprowadzenia skomplikowanych transformacji i agregacji dużych zestawów danych. 3) Zarządzanie magazynem danych: rozwijanie i zarządzanie rozwiązaniami magazynowymi przy użyciu Spark i Scala, aby zapewnić dostępność, integralność i bezpieczeństwo danych. Projektowanie i implementowanie modeli danych, schematów oraz strategii indeksowania dla efektywnej analizy i wyszukiwania danych. 4) Integracja danych: współpraca z zespołami mieszkanymi w celu integracji i konsolidacji danych z wielu źródeł, w tym baz danych, API i zewnętrznych systemów. Zapewnienie płynnej integracji danych między różnymi platformami i aplikacjami za pomocą konektorów Spark i możliwości integracyjnych. 5) Jakość danych i zarządzanie: implementacja kontroli jakości danych i procesów weryfikacji za pomocą Spark i Scala w celu zapewnienia dokładności, spójności i niezawodności danych. Ustalanie i egzekwowanie standardów zarządzania danymi, protokołów bezpieczeństwa danych i przepisów dotyczących prywatności danych. 6) Optymalizacja wydajności: identyfikowanie i rozwiązywanie problemów z wydajnością w aplikacjach Spark, przepływach danych i bazach danych. Optymalizowanie zadań Spark przez dostrojenie konfiguracji, wykorzystanie mechanizmów buforowania i zastosowanie technik optymalizacji. 7) Współpraca i komunikacja: współpraca z zespołami mieszkanymi, w tym naukowcami zajmującymi się danymi i inżynierami oprogramowania, na zrozumienie ich wymagań dotyczących danych i dostarczanie odpowiednich rozwiązań Spark i Scala. Jasne przekazywanie skomplikowanych koncepcji i rozwiązań technicznych zarówno dla zainteresowanych stron technicznych, jak i nietechnicznych. 8) Nowe technologie i trendy: utrzymanie świadomości na temat najnowszych osiągnięć w Spark, Scala, technologii Big Data, platform chmurowych oraz narzędzi zarządzania danymi. Ocena i rekomendacja nowych technologii i podejść, które mogą zwiększyć możliwości inżynierii danych. Kwalifikacje i umiejętności: 1) Licencjat lub magister nauk ścisłych, systemów informatycznych lub pokrewnych lub równoważne doświadczenie. 2) Silne umiejętności programowania w Scala i doświadczenie z Apache Spark. 3) Biegłość w SQL i doświadczenie w pracy z relacyjnymi bazami danych. 4) Znajomość technologii Big Data, takich jak Hadoop, Kafka lub Hive. 5) Doświadczenie z modelowaniem danych, projektowaniem schematów i procesami ETL. 6) Zrozumienie koncepcji magazynowania danych i doświadczenie z rozwiązaniami magazynowymi. 7) Znajomość platform chmurowych, takich jak AWS, i doświadczenie z usługami chmurowymi do danych (np. S3, EMR, Glue). 8) Silne umiejętności rozwiązywania problemów i zdolność do analizy i rozwiązywania skomplikowanych problemów związanymi z danymi. 9) Doskonałe umiejętności komunikacji i współpracy, z możliwością efektywnej pracy w środowisku zespołu wielofunkcyjnego. 10) Zwracanie uwagi na szczegóły i silne zaangażowanie na rzecz jakości danych, bezpieczeństwa i zarządzania. IQVIA to wiodący globalny dostawca zaawansowanych analiz, technologii i usług badawczych dla przemysłu nauk o życiu. Zdecydowaliśmy się przesunąć granice nauki i nauki o danych, aby mieć możliwie największy wpływ - pomagając naszym klientom tworzyć zdrowszy świat. Dowiedz się więcej na https://jobs.iqvia.com.