Ingénieur Principal de Données - AWS/Scala (Télétravail/Travail à domicile)

Le Centre d'excellence en habilitation numérique d'IQVIA recrute un ingénieur de données senior pour travailler à distance depuis n'importe où au Canada. Notre vision ouvre la voie à un engagement client sans précédent, à une narration omnicanal de nouvelle génération, à une suite de mesures intégrées et à l'optimisation en temps réel des campagnes - le tout alimenté par un système d'exploitation de bout en bout indépendant de la plateforme et des données pour le marketing et l'analytique intelligents dans le domaine de la santé. En simplifiant des flux de travail qui prenaient autrefois plusieurs jours en quelques secondes, et en intégrant des fonctionnalités qui nécessitaient auparavant plusieurs fournisseurs en un seul, nous permettons aux marques de concentrer leur temps et leurs ressources sur la réalisation de résultats concrets dans le monde réel.

En tant qu'ingénieur en données principal au sein du Centre d'excellence en habilitation numérique, vous jouerez un rôle crucial dans la conception, le développement et la maintenance de l'infrastructure et des systèmes nécessaires pour le traitement, le stockage et l'analyse efficaces des données pour nos produits AIM, Email et HCN. Travaillant au sein d'une équipe Scrum plurifonctionnelle, vous collaborerez étroitement avec d'autres ingénieurs logiciels, des scientifiques de données, des testeurs de logiciels et des propriétaires de produits pour garantir un flux de données fluide à travers l'organisation, permettant la prise de décision et les insights basés sur les données. Ce rôle nécessite une solide compréhension de l'architecture des données et des compétences en programmation en Spark et Scala, ainsi qu'une passion pour travailler avec des ensembles de données grands et complexes.

Responsabilités clés :

• Développement Spark : Concevoir, construire et maintenir des pipelines de données scalables et robustes en utilisant Apache Spark.
• Développement de pipeline de données : Concevoir, mettre en œuvre et optimiser des pipelines de données pour extraire, transformer et charger (ETL) les données à partir de diverses sources dans les systèmes de stockage et de traitement des données. Exploitez les capacités de traitement des données de Spark pour effectuer des transformations complexes et des agrégations sur de grands ensembles de données.
• Gestion d'entrepôt de données : Développer et gérer des solutions de gestion d'entrepôts de données en utilisant Spark et Scala pour assurer la disponibilité, l'intégrité et la sécurité des données. Concevoir et mettre en œuvre des modèles de données, des schémas et des stratégies d'indexation pour soutenir une récupération et une analyse de données efficaces.
• Intégration des données : Collaborer avec des équipes plurifonctionnelles pour intégrer et consolider les données provenant de multiples sources, y compris les bases de données, les API et les systèmes externes. Assurer une intégration transparente des données entre différentes plateformes et applications en utilisant les connecteurs et les capacités d'intégration de Spark.
• Qualité et gouvernance des données : Mettre en œuvre des contrôles de qualité des données et des processus de validation en utilisant Spark et Scala pour garantir l'exactitude, la cohérence et la fiabilité des données. Établir et faire respecter les normes de gouvernance des données, les protocoles de sécurité des données et les réglementations sur la confidentialité des données.
• Optimisation des performances : Identifier et résoudre les problèmes de performance dans les applications Spark, les pipelines de données et les bases de données. Optimiser les tâches Spark en affinant les configurations, en exploitant les mécanismes de mise en cache et en appliquant des techniques d'optimisation.
• Collaboration et communication : Collaborer avec des équipes plurifonctionnelles, y compris des scientifiques de données et des ingénieurs logiciels, pour comprendre leurs besoins en données et fournir des solutions appropriées en Spark et Scala. Communiquer clairement des concepts et des solutions techniques complexes à des parties prenantes techniques et non techniques.
• Technologies et tendances émergentes : Restez à jour avec les dernières avancées en Spark, Scala, les technologies big data, les plateformes cloud, et les outils de gestion des données. Évaluez et recommandez de nouvelles technologies et approches qui peuvent améliorer les capacités d'ingénierie des données.

Qualifications et compétences :

• Titulaire d'une licence ou d'un master en informatique, en systèmes d'information ou dans un domaine connexe, ou expérience équivalente
• Fortes compétences en programmation en Scala et expérience avec Apache Spark.
• Maîtrise de SQL et expérience de travail avec des bases de données relationnelles
• Connaissance des technologies big data telles que Hadoop, Kafka ou Hive.
• Expérience de la modélisation des données, de la conception des schémas et des processus ETL.
• Compréhension des concepts de gestion d'entrepôt de données et expérience avec les solutions d'entrepôts de données
• Connaissance des plates-formes cloud telles que AWS et expérience avec les services de données basés sur le cloud (par exemple, S3, EMR, Glue).
• Solides compétences en résolution de problèmes et capacité à analyser et à résoudre des problèmes de données complexes.
• Excellentes compétences en communication et collaboration, avec la capacité de travailler efficacement au sein d'une équipe plurifonctionnelle.
• Souci du détail et fort engagement envers la qualité, la sécurité et la gouvernance des données.

#LI-Remote

IQVIA est un leader mondial dans la fourniture de services de recherche clinique, de solutions technologiques et d'analyses avancées pour l'industrie des sciences de la vie. Nous croyons en repousser les limites de la science humaine et de la science des données pour avoir le plus grand impact possible - pour aider nos clients à créer un monde plus sain. Pour en savoir plus, visitez https://jobs.iqvia.com