Старший Инженер По Данным - AWS/Scala (Удаленная работа/Работа из дома)

Центр цифровой поддержки IQVIA ищет старшего инженера по данным, который может работать удаленно из любой точки Канады. Мы стремимся кардинально изменить взаимодействие с клиентами, внедрить поканальное повествование нового поколения, интегрированный комплект измерений и оптимизацию рекламных кампаний в режиме реального времени. Все это возможно благодаря основной операционной системе для интеллектуального маркетинга и аналитики в здравоохранении, независимой от данных и платформ. Мы оптимизируем сложные рабочие процессы, ускоряя их с нескольких дней до нескольких секунд, и интегрируем функциональность, объединяя ее под одним зонтиком, что позволяет брендам сосредоточить свое время и ресурсы на достижение реальных результатов. Вы, как старший инженер по данным в Центре цифровой поддержки, будете играть ключевую роль в проектировании, разработке и поддержании инфраструктуры и систем, необходимых для эффективной и эффективной обработки данных, хранения и анализа для наших продуктов AIM, Email и HCN. Будучи частью кросс-функциональной команды, вы будете работать в тесном сотрудничестве с другими инженерами-программистами, специалистами по данным, тестировщиками программного обеспечения и владельцами продуктов, чтобы обеспечить плавный поток данных по всей организации, что, в свою очередь, облегчит принятие решений на основе данных и получение инсайтов. Для этой роли необходимо глубокое понимание архитектуры данных и навыков программирования на Spark и Scala, а также страсть к работе с большими и сложными наборами данных. Ключевые обязанности: 1) Разработка на Spark: проектирование, создание и поддержание масштабируемых и надежных потоков данных с помощью Apache Spark. 2) Разработка потоков данных: проектирование, реализация и оптимизация потоков данных для извлечения, преобразования и загрузки (ETL) данных из различных источников в системы хранения и обработки данных. Пользование способностями Apache Spark для обработки данных для выполнения сложных преобразований и агрегаций на больших дата-сетах. 3) Управление хранилищами данных: разработка и управление решениями для создания хранилищ данных с использованием Spark и Scala для обеспечения доступности, целостности и безопасности данных. Проектирование и реализация моделей данных, схем и стратегий индексирования для поддержки эффективного извлечения данных и аналитики. 4) Интеграция данных: сотрудничество с кросс-функциональными командами для интеграции и объединения данных из различных источников, включая базы данных, API и внешние системы. Обеспечение бесшовной интеграции данных на различных платформах и приложениях с использованием возможностей Apache Spark. 5) Качество данных и управление ими: реализация проверок качества данных и процедур проверки с использованием Spark и Scala для обеспечения точности, согласованности и надежности данных. Разработка и проведение стандартов на уровне управления данными, протоколов безопасности данных и правил по защите персональных данных. 6) Оптимизация производительности: определение и решение проблем производительности в приложениях Spark, потоках данных и базах данных. Оптимизация задач Spark за счет настройки конфигураций, использования механизмов кэширования и применения методов оптимизации. 7) Сотрудничество и общение: сотрудничество с кросс-функциональными командами, включая специалистов по данным и программистов, для понимания их запросов и предоставления соответствующих решений. Четкое объяснение сложных технических концепций и решений всем заинтересованным сторонам, как техническим, так и нетехническим. 8) Изучение новых технологий и трендов: отслеживание последних достижений в области Spark, Scala, технологий больших данных, облачных платформ и инструментов управления данными. Оценка и рекомендация новых технологий и подходов, которые могут улучшить инженерные способности обработки данных. Требуемые квалификации и навыки: 1) Бакалавр или магистр в области информатики, информационных систем или смежной области, либо аналогичный опыт. 2) Сильные навыки программирования на Scala и опыт работы с Apache Spark. 3) Владение SQL и опыт работы с реляционными базами данных. 4) Знакомство с технологиями больших данных, такими как Hadoop, Kafka, или Hive. 5) Опыт работы с моделированием данных, проектированием схем и процессами ETL. 6) Понимание концепций хранилищ данных и опыт работы с решениями для хранилищ данных. 7) Знание облачных платформ, таких как AWS, и опыт работы с облачными сервисами обработки данных (например, S3, EMR, Glue). 8) Сильные навыки решения проблем и способность анализировать и устранять сложные проблемы, связанные с данными. 9) Отличные навыки коммуникации и сотрудничества, способность эффективно работать в составе кросс-функциональной команды. 10) Внимание к деталям и сильная приверженность качеству данных, безопасности и управлению ими. IQVIA - ведущий мировой поставщик услуг продвинутой аналитики, технологических решений и клинических исследований для индустрии биологически активных веществ. Мы верим в то, что нужно двигаться по направлению к границам человеческой науки и науки о данных, чтобы оказать максимальное влияние – помочь нашим клиентам создавать более здоровый мир. Узнайте больше на https://jobs.iqvia.com.