Старший инженер по данным

Старший инженер по данным

Центр Экселленса IQVIA по цифровой активации ищет старшего инженера по данным для удаленной работы из любой точки Канады. Наше видение открывает путь к беспрецедентному взаимодействию с клиентами, созданию историй в мультимедийных каналах нового поколения, интегрированным методам измерения и оптимизации рекламных кампаний в реальном времени, все это работает на основе не зависящей от платформы основной операционной системы и данных для интеллектуального маркетинга и аналитики в области здравоохранения. Упростив рабочие процессы, которые раньше занимали несколько дней, и интегрировав функции, которые ранее требовали участия нескольких поставщиков, мы позволяем брендам сосредоточить свое время и ресурсы на достижении ощутимых результатов.

В качестве старшего инженера по данным в Центре Экселленса по Цифровой Активации вы будете играть ключевую роль в проектировании, разработке и поддержке инфраструктуры и систем, необходимых для эффективной и результативной обработки, хранения и анализа данных для наших продуктов AIM, Email и HCN. Работая в рамках междисциплинарной команды по Scrum, вы будете тесно сотрудничать с другими инженерами-программистами, специалистами по анализу данных, тестерами программного обеспечения и владельцами продуктов, чтобы обеспечить бесперебойное движение данных по всей организации, что позволит принимать решения на основе данных и обеспечивать доступ к информации. Для этой роли необходимо глубокое понимание архитектуры данных и навыки программирования в Spark и Scala, а также страсть к работе с большими и сложными наборами данных.

Основные обязанности:

• Разработка на Spark: проектирование, создание и поддержка масштабируемых и надежных конвейеров данных с использованием Apache Spark.
• Разработка конвейеров данных: проектирование, внедрение и оптимизация конвейеров данных для извлечения, трансформации и загрузки данных (ETL) из различных источников в системы хранения и обработки данных. Использование возможностей Spark для обработки данных для выполнения сложных преобразований и агрегаций на больших наборах данных.
• Управление хранилищем данных: разработка и управление решениями для хранилищ данных с использованием Spark и Scala для обеспечения доступности, целостности и безопасности данных. Проектирование и внедрение моделей данных, схем и стратегий индексации для эффективного восстановления и анализа данных.
• Интеграция данных: сотрудничество с межфункциональными командами для интеграции и объединения данных из различных источников, включая базы данных, API и внешние системы. Обеспечение бесшовной интеграции данных на различных платформах и в различных приложениях с использованием возможностей Spark для подключения и интеграции.
• Качество данных и управление: внедрение контроля качества данных и процессов валидации с использованием Spark и Scala для обеспечения точности, последовательности и надежности данных. Установка и применение стандартов управления данными, протоколов безопасности данных и регулирования конфиденциальности данных.
• Оптимизация производительности: определение и устранение проблем производительности в приложениях Spark, конвейерах данных и базах данных. Оптимизация задач Spark путем настройки конфигураций, использования механизмов кэширования и применения техник оптимизации.
• Сотрудничество и коммуникация: сотрудничество с межфункциональными командами, включая аналитиков по данным и программных инженеров, для понимания их потребностей в данных и предоставления соответствующих решений на Spark и Scala. Четкое объяснение сложных технических концепций и решений как техническим, так и нетехническим заинтересованным сторонам.
• Новые технологии и тренды: оставаться в курсе последних достижений в области Spark, Scala, технологий Big Data, облачных платформ и инструментов управления данными. Оценивать и рекомендовать новые технологии и подходы, которые могут улучшить возможности инженерии данных.

Дипломы и навыки:

• Бакалавр или магистр в области информатики, систем информации или смежной области или эквивалентный опыт
• Сильные навыки программирования на Scala и опыт работы с Apache Spark.
• Владение SQL и опыт работы с реляционными базами данных
• Знакомство с технологиями Big Data, такими как Hadoop, Kafka или Hive.
• Опыт работы с моделированием данных, проектированием схемы и процессами ETL.
• Понимание концепций хранилища данных и опыт работы с решениями для хранилища данных
• Знание облачных платформ, таких как AWS, и опыт работы с облачными сервисами данных (например, S3, EMR, Glue).
• Сильные навыки решения проблем и способность анализировать и разрешать сложные вопросы, связанные с данными.
• Отличные коммуникативные и умения взаимодействия, с возможностью эффективной работы в межфункциональной командной среде.
• Внимательность к деталям и твердое убеждение в необходимости качества, безопасности и управления данными.

Старший инженер по данным

Центр Экселленса IQVIA по цифровой активации нанимает старшего инженера по данным для работы на удаленке из любой точки Канады. Наше видение - проложить путь для беспараллельного взаимодействия с клиентами, создания историй в мультимедийных каналах нового поколения, интегрированной системы измерений и оптимизации рекламных кампаний в реальном времени - все это работает на основе конечных данных и операционной системы, не зависящей от платформы, для интеллектуального маркетинга и аналитики в области здравоохранения. Упрощая рабочие процессы, которые раньше занимали несколько дней, и интегрируя функционал, который раньше требовал участие нескольких поставщиков, мы позволяет брендам сосредоточить свои ресурсы на достижении реальных результатов.

Как старший инженер по данным в Центре Экселленса по цифровой активации, вы будете играть ключевую роль в проектировании, разработке и поддержке инфраструктуры и систем, необходимых для эффективного и результативного обработки, хранения и анализа данных для наших продуктов AIM, Email и HCN. Работая в составе межфункциональной команды по Scrum, вы будете тесно сотрудничать с другими инженерами-программистами, специалистами по анализу данных, тестерами программного обеспечения и владельцами продуктов, чтобы обеспечить бесперебойное движение данных по всей организации, позволяя принимать решения на основе данных и получать знания. Для этой роли требуется глубокое понимание архитектуры данных и навыки программирования на Spark и Scala, а также страсть к работе с большими и сложными наборами данных.

Основные обязанности:

• Разработка на Spark: проектирование, создание и поддержка масштабируемых и надежных конвейеров данных с помощью Apache Spark.
• Разработка конвейеров данных: проектирование, реализация и оптимизация конвейеров данных для извлечения, трансформации и загрузки (ETL) данных из различных источников в системы хранения и обработки данных. Использование возможностей Spark для обработки данных для выполнения сложных преобразований и агрегаций на больших наборах данных.
• Управление хранилищем данных: разработка и управление решениями для хранилища данных с использованием Spark и Scala для обеспечения доступности, целостности и безопасности данных. Разработка и внедрение моделей данных, схем и стратегий индексации для поддержки эффективного извлечения и анализа данных.
• Интеграция данных: сотрудничество с межфункциональными командами для интеграции и объединения данных из нескольких источников, включая базы данных, API и внешние системы. Обеспечение бесшовной интеграции данных на различных платформах и в приложениях с использованием возможностей Spark для подключения и интеграции.
• Качество данных и управление: внедрение проверок качества данных и процессов валидации с использованием Spark и Scala для обеспечения точности, консистентности и надежности данных. Внедрение и соблюдение стандартов управления данными, протоколов безопасности данных и регулятивных требований к конфиденциальности данных.
• Оптимизация производительности: определение и устранение проблем производительности в приложениях Spark, конвейерах данных и базах данных. Оптимизация задач Spark путем настройки конфигураций, использования механизмов кеширования и применения техник оптимизации.
• Сотрудничество и коммуникация: сотрудничество с межфункциональными командами, включая специалистов по анализу данных и программных инженеров, для понимания их потребностей в данных и предоставления соответствующих решений на Spark и Scala. Четкое объяснение сложных технических концепций и решений как техническим, так и нетехническим заинтересованным сторонам.
• Новые технологии и тренды: оставаться в курсе последних достижений в области Spark, Scala, технологий Big Data, облачных платформ и инструментов управления данными. Оценка и рекомендация новых технологий и подходов, которые могут улучшить возможности проектирования и работы с данными.

Квалификация и навыки:

• Бакалавр или магистр в области информатики, систем информации или смежной области или эквивалентный опыт
• Сильные навыки программирования на Scala и опыт работы с Apache Spark.
• Владение SQL и опыт работы с реляционными базами данных
• Знакомство с большими данными, такими как Hadoop, Kafka или Hive.
• Опыт работы с моделированием данных, проектированием схемы и процессами ETL.
• Понимание концепций хранилища данных и опыт работы с решениями для хранилища данных
• Знание облачных платформ, таких как AWS и опыт работы с облачными сервисами данных (например, S3, EMR, Glue).
• Сильные навыки решения проблем и способность анализировать и устранять сложные проблемы, связанные с данными.
• Отличные коммуникативные и навыки для совместной работы, с возможностью эффективно работать в межфункциональной команде.
• Внимание к деталям и сильное приверженность к данных качества, безопасности и управления.

#LI-Remote

IQVIA - ведущий мировой поставщик услуг в области расширенной аналитики, технологических решений и клинических исследований для индустрии жизненного цикла. Мы верим в то, что можно двигать границы человеческой науки и науки о данных, чтобы оказывать наибольшее возможное влияние - помогать нашим клиентам создать более здоровый мир. Узнайте больше на https://jobs.iqvia.com