Starszy Inżynier Danych

Starszy Inżynier Danych

Centrum Doskonałości w zakresie aktywacji cyfrowej IQVIA zatrudnia starszego inżyniera danych do pracy zdalnej z dowolnego miejsca w Kanadzie. Nasza wizja otwiera drogę do bezprecedensowego zaangażowania klientów, opowieści omnichannel nowej generacji, zintegrowanego zestawu pomiarów, i optymalizacji kampanii w czasie rzeczywistym, wszystko to napędzane przez niezależny od platformy system operacyjny i dane dla inteligentnego marketingu i analityki w sektorze ochrony zdrowia. Uproszczając przepływy pracy, które wcześniej zajmowały kilka dni, do sekund i integrując funkcje, które wcześniej wymagały wielu dostawców w jedno, pozwalamy markom skupić się na osiąganiu konkretnych wyników.

Jako starszy inżynier danych w ramach Centrum Doskonałości w zakresie aktywacji cyfrowej, odegrasz kluczową rolę w projektowaniu, tworzeniu i utrzymaniu infrastruktury i systemów niezbędnych do efektywnego i skutecznego przetwarzania, przechowywania i analizy danych dla naszych produktów AIM, Email i HCN. Pracując w ramach interdyscyplinarnego zespołu scrum, będziesz ściśle współpracować z innymi inżynierami oprogramowania, specjalistami ds. danych, testerami oprogramowania oraz właścicielami produktów, aby zapewnić płynny przepływ danych w całej organizacji, umożliwiając podejmowanie decyzji opartych na danych i informacji. Wymagana jest solidna wiedza na temat architektury danych i umiejętności programowania w Spark i Scala, wraz z pasją do pracy z dużymi i skomplikowanymi zestawami danych.

Główne obowiązki:

• Rozwój Spark: projektowanie, tworzenie i utrzymanie skalowalnych i solidnych potoków danych za pomocą Apache Spark.
• Rozwój potoków danych: projektowanie, implementacja i optymalizacja potoków danych do ekstrakcji, transformacji i ładowania danych (ETL) z różnych źródeł do systemów przechowywania i przetwarzania danych. Wykorzystanie możliwości przetwarzania danych Sparka do przeprowadzania złożonych transformacji i agregacji na dużych zestawach danych.
• Zarządzanie magazynami danych: rozwijanie i zarządzanie rozwiązaniami z zakresu magazynowania danych przy użyciu Sparka i Scali, aby zapewnić dostępność, integralność i bezpieczeństwo danych. Projektowanie i implementacja modeli danych, schematów i strategii indeksowania w celu wspierania efektywnego odzyskiwania i analizy danych.
• Integracja danych: współpraca z zespołami wielofunkcyjnymi w celu integracji i konsolidacji danych z wielu źródeł, w tym baz danych, API i systemów zewnętrznych. Zapewnienie sprawnego przepływu danych między różnymi platformami i aplikacjami za pomocą konektorów Sparka i możliwości integracyjnych.
• Jakość i zarządzanie danymi: implementacja kontroli jakości danych i procesów walidacji za pomocą Sparka i Scali, aby zapewnić dokładność, spójność i niezawodność danych. Ustalanie i stosowanie standardów zarządzania danymi, protokołów bezpieczeństwa danych i regulacji dotyczących prywatności danych.
• Optymalizacja wydajności: identyfikacja i rozwiązywanie problemów z wydajnością w aplikacjach Sparka, potokach danych i bazach danych. Optymalizacja zadań Sparka poprzez regulowanie konfiguracji, wykorzystanie mechanizmów buforowania i stosowanie technik optymalizacji.
• Współpraca i komunikacja: współpraca z zespołami wielofunkcyjnymi, w tym z naukowcami ds. danych i inżynierami oprogramowania, w celu zrozumienia ich potrzeb dotyczących danych i zapewnienia odpowiednich rozwiązań Sparka i Scali. Jasne przekazywanie złożonych koncepcji technicznych i rozwiązań zarówno dla osób technicznych, jak i nietechnicznych.
• Nowoczesne technologie i trendy: śledzenie najnowszych osiągnięć w zakresie Sparka, Scali, technologii Big Data, platform chmurowych i narzędzi do zarządzania danymi. Ocena i rekomendacja nowych technologii i podejść, które mogą poprawić możliwości inżynierskie w zakresie danych.

Stopnie i umiejętności:

• Licencjat lub magister informatyki, systemów informacyjnych lub pokrewnych dziedzin lub równoważne doświadczenie
• Umiejętności programowania w Scala i doświadczenie z Apache Spark.
• Znajomość SQL i doświadczenie w pracy z relacyjnymi bazami danych
• Znajomość technologii Big Data, takich jak Hadoop, Kafka czy Hive.
• Doświadczenie w modelowaniu danych, projektowaniu schematów i procesach ETL.
• Zrozumienie koncepcji magazynowania danych i doświadczenie z rozwiązaniami magazynowania danych
• Znajomość platform chmurowych, takich jak AWS, i doświadczenie z usługami danych w chmurze (np. S3, EMR, Glue).
• Silne umiejętności rozwiązywania problemów i zdolność do analizy i rozwiązywania skomplikowanych problemów związanych z danymi.
• Wyjątkowe umiejętności komunikacyjne i współpracy, z zdolnością do efektywnej pracy w zespole wielofunkcyjnym.
• Dbajność o szczegóły i silne zobowiązanie do jakości, bezpieczeństwa i zarządzania danymi.

Starszy Inżynier Danych

Centrum Doskonałości Aktywacji Cyfrowej IQVIA zatrudnia Starszego Inżyniera Danych do pracy zdalnej z dowolnego miejsca w Kanadzie. Nasza wizja otwiera drogę do niezrównanego zaangażowania klientów, opowieści omnichannel nowej generacji, zintegrowanego zestawu narzędzi pomiarowych i optymalizacji kampanii w czasie rzeczywistym - wszystko jest napędzane przez końcowy system operacyjny dla danych i platformy agnostyczne dla inteligentnego marketingu i analityki w sektorze ochrony zdrowia. Uproszczając procesy, które wcześniej zajmowały dni, do sekund i integrując funkcje, które wcześniej wymagały wielu dostawców w jednym, umożliwiamy markom skupienie się na osiąganiu rzeczywistych wyników.

Jako Starszy Inżynier Danych w Centrum Doskonałości Aktywacji Cyfrowej, będziesz odgrywać kluczową rolę w projektowaniu, rozwijaniu i utrzymaniu infrastruktury i systemów niezbędnych do efektywnego i skutecznego przetwarzania, przechowywania i analizy danych dla naszych produktów AIM, Email i HCN. Pracując jako część interdyscyplinarnego zespołu scrum, będziesz ściśle współpracować z innymi inżynierami oprogramowania, naukowcami ds. danych, testerami oprogramowania i właścicielami produktów, aby zapewnić płynny przepływ danych w całej organizacji, umożliwiając podejmowanie decyzji opartych na danych i wnioskach. Ta rola wymaga solidnej wiedzy z zakresu architektury danych i umiejętności programowania w Spark i Scala, a także pasji do pracy z dużymi i złożonymi zbiorami danych.

Kluczowe obowiązki:

• Rozwój Sparka: Projektuj, buduj i utrzymuj skalowalne i niezawodne potoki danych za pomocą Apache Spark.
• Rozwój potoków danych: Projektuj, implementuj i optymalizuj potoki danych do ekstrakcji, przekształcania i ładowania (ETL) danych z różnych źródeł do systemów przechowywania i przetwarzania danych. Wykorzystaj możliwości przetwarzania danych Sparka do przeprowadzania skomplikowanych transformacji i agregacji na dużych zbiorach danych.
• Zarządzanie magazynami danych: Projektuj, rozwijaj i zarządzaj rozwiązaniami do magazynowania danych za pomocą Sparka i Scali, aby zapewnić dostępność, integralność i bezpieczeństwo danych. Projektuj i implementuj modele danych, schematy i strategie indeksowania, aby wspierać efektywne pobieranie danych i analizy.
• Integracja danych: Współpracuj z zespołami wielofunkcyjnymi, aby integrować i konsolidować dane z wielu źródeł, w tym baz danych, API i systemów zewnętrznych. Zapewnij bezproblemową integrację danych w różnych platformach i aplikacjach za pomocą konektorów i możliwości integracyjnych Sparka.
• Jakość i zarządzanie danymi: Implementuj kontrole jakości danych i procesy walidacji za pomocą Sparka i Scali, aby zapewnić dokładność, spójność i niezawodność danych. Ustalaj i egzekwuj standardy zarządzania danymi, protokoły bezpieczeństwa danych i przepisy dotyczące ochrony prywatności danych.
• Optymalizacja wydajności: Identyfikuj i usuwaj problemy z wydajnością w aplikacjach Sparka, potokach danych i bazach danych. Optymalizuj zadania Sparka, dostosowując konfiguracje, wykorzystując mechanizmy buforowania i stosując techniki optymalizacji.
• Współpraca i komunikacja: Współpracuj z zespołami wielofunkcyjnymi, w tym z naukowcami ds. danych i inżynierami oprogramowania, aby zrozumieć ich wymagania dotyczące danych i zapewnić odpowiednie rozwiązania Sparka i Scali. Jasno komunikuj złożone koncepcje techniczne i rozwiązania zarówno dla osób technicznych, jak i nietechnicznych.
• Nowoczesne technologie i trendy: Bądź na bieżąco z najnowszymi osiągnięciami w zakresie Sparka, Scali, technologii Big Data, platform chmur obliczeniowych i narzędzi do zarządzania danymi. Oceń i poleć nowe technologie i podejścia, które mogą zwiększyć możliwości inżynierii danych.

Kwalifikacje i umiejętności:

• Stopień licencjata lub magistra w dziedzinie informatyki, systemów informacyjnych lub pokrewnego kierunku lub równoważne doświadczenie
• Mocne umiejętności programowania w Scala i doświadczenie z Apache Spark.
• Znajomość SQL i doświadczenie w pracy z relacyjnymi bazami danych
• Znajomość technologii Big Data, takich jak Hadoop, Kafka czy Hive.
• Doświadczenie w modelowaniu danych, projektowaniu schematów i procesach ETL.
• Zrozumienie koncepcji magazynowania danych i doświadczenie z rozwiązaniami magazynowania danych
• Znajomość platform chmurowych, takich jak AWS, i doświadczenie z usługami danych w chmurze (np. S3, EMR, Glue).
• Silne umiejętności rozwiązywania problemów i zdolność do analizy i rozwiązywania skomplikowanych problemów związanych z danymi.
• Wyjątkowe umiejętności komunikacyjne i współpracy, z zdolnością do efektywnej pracy w zespole interdyscyplinarnym.
• Dbajność o szczegóły i silne zobowiązanie do jakości danych, bezpieczeństwa i zarządzania danymi.

#LI-Remote

IQVIA jest wiodącym globalnym dostawcą zaawansowanych usług analitycznych, rozwiązań technologicznych i usług dla przemysłu farmaceutycznego. Wierzymy w przesuwanie granic nauk humanistycznych i nauk o danych, aby osiągnąć jak największy możliwy wpływ - pomagamy naszym klientom tworzyć zdrowszy świat. Dowiedz się więcej na https://jobs.iqvia.com