Старший інженер з даних - AWS/Scala (Дистанційна робота/Робота з дому)

Центр Цифрового Забезпечення IQVIA шукає старшого інженера з даними, який може працювати на віддаленій роботі з будь-якого місця в Канаді. Ми прагнемо революціонізувати залучення клієнтів, впроваджувати багатоканальний наступного покоління сторителінг, інтегрований комплекс вимірювань та оптимізацію кампаній в реальному часі. Все це підпитується комплексними даними та агностичною до платформи операційною системою для інтелектуального маркетингу та аналітики в області охорони здоров'я. Ми спрощуємо складні робочі процеси, зменшуючи їх тривалість з днів до секунд, та включаємо функції, об'єднуючи їх під одним «дахом», що дозволяє брендам зосереджувати свій час та ресурси на досягнення реальних результатів. Як старший інженер з даними в Центрі Цифрового Забезпечення, ваша роль буде важливою при проектуванні, розробці та підтримці інфраструктури та систем, необхідних для ефективної й ефективної обробки, зберігання та аналізу даних для наших продуктів AIM, Email та HCN. Будучи частиною крос-функціональної групи по scrum, ви будете тісно співпрацювати з іншими програмістами, дата-сайентистами, тестувальниками програмного забезпечення та власниками продуктів, щоб забезпечити плавне використання даних в організації, що, в свою чергу, сприятиме прийняттю рішень на основі даних та отриманню даних. З цією роллю пов'язане глибоке розуміння архітектури даних та навичок програмування в Spark та Scala, а також захоплення роботою з великими та складними наборами даних. Основні обов'язки: 1) Розробка Spark: проектування, створення та підтримка масштабованих та надійних конвеєрів даних за допомогою Apache Spark. 2) Розробка конвеєра даних: проектування, реалізація та оптимізація конвеєрів даних для видобування, перетворення і завантаження (ETL) даних з різних джерел в системи зберігання та обробки даних. Використовуйте можливості обробки даних Spark для виконання складних перетворень та агрегацій на великих наборах даних. 3) Управління даними: розробка та управління рішеннями для зберігання даних, використовуючи Spark та Scala, щоб забезпечити доступність, цілісність і безпеку даних. Проектування та реалізація моделей даних, схем та стратегій індексації для підтримки ефективного здобуття та аналітики даних. 4) Інтеграція даних: співпраця з крос-функціональними командами для інтеграції та об'єднання даних з різних джерел, включаючи бази даних, API та зовнішні системи. Забезпечуйте безперебійну інтеграцію даних між різними платформами та програмами за допомогою коннекторів та можливостей інтеграції Spark. 5) Якість даних та управління: реалізація перевірок якості даних та процесів валідації за допомогою Spark та Scala для забезпечення точності, узгодженості та надійності даних. Встановіть та дотримуйтеся стандартів управління даними, протоколів безпеки даних та правил конфіденційності даних. 6) Оптимізація продуктивності: виявлення та усунення проблем продуктивності в додатках Spark, конвеєрах даних та базах даних. Оптимізуйте роботу Spark, точно регулюючи конфігурації, використовуючи механізми кешування та застосовуючи техніки оптимізації. 7) Співпраця та комунікація: співпрацюйте з крос-функціональними командами, включаючи дата-сайентистів та інженерів-програмістів, щоб зрозуміти їх потреби в даних та надати відповідні рішення в Spark та Scala. Прозоро передавайте складні технічні концепції та рішення як технічним, так і нетехнічним зацікавленим сторонам. 8) Нові технології та тренди: слідкуйте за останніми досягненнями в області Spark, Scala, технологій великих даних, хмарних платформ та інструментів управління даними. Досліджуйте та рекомендуйте нові технології та підходи, які можуть посилювати можливості інженерії даних. Кваліфікація та навички: 1) Ступінь бакалавра або магістра в галузі комп'ютерних наук, інформаційних систем або суміжних областях або еквівалентний досвід. 2) Високий рівень навичок програмування на Scala та досвід роботи з Apache Spark. 3) Володіння SQL та досвід роботи з реляційними базами даних. 4) Знайомство з технологіями великих даних, такими як Hadoop, Kafka або Hive. 5) Досвід роботи з моделями даних, проектуванням схем та процесами ETL. 6) Розуміння концепцій даних та досвід роботи з рішеннями для сховищ даних. 7) Знання хмарних платформ, таких як AWS, та досвід роботи з хмарними даними (наприклад, S3, EMR, Glue). 8) Сильні навички вирішення проблем та здатність аналізувати та усувати складні проблеми, пов'язані з даними. 9) Відмінні навички комунікації та співпраці, здатність ефективно працювати в крос-функціональній команді. 10) Увага до деталей та високий рівень прив'язаності до якості даних, безпеки та управління. IQVIA - це провідний світовий постачальник передових аналітичних послуг, технологічних рішень та послуг клінічних досліджень для індустрії життєвих наук. Ми віримо в те, що штовхаючи наукові та даними до меж, можна добитися максимального впливу - допомогти нашим клієнтам створювати більш здоровий світ. Дізнайтеся більше на https://jobs.iqvia.com.