Ingénieur de données senior
Le Centre d’excellence en matière d’activation numérique d’IQVIA recrute un ingénieur de données senior pour travailler à distance partout au Canada. Notre vision ouvre la voie à un engagement client sans précédent, à une narration omnicanal de nouvelle génération, à une suite de mesures intégrée et à une optimisation des campagnes en temps réel, le tout alimenté par un système d'exploitation de bout en bout indépendant de la plate-forme et des données pour un marketing et une analyse intelligents des soins de santé. En simplifiant les flux de travail qui prenaient auparavant plusieurs jours en quelques secondes et en intégrant des fonctionnalités qui nécessitaient auparavant plusieurs fournisseurs en un seul, nous permettons aux marques de concentrer leur temps et leurs ressources sur l'obtention de résultats concrets.
En tant qu'ingénieur de données senior au sein du Digital Enablement Center of Excellence, vous jouerez un rôle crucial dans la conception, le développement et la maintenance de l'infrastructure et des systèmes requis pour un traitement, un stockage et une analyse efficaces et efficients des données pour nos produits AIM, Email et HCN. En travaillant au sein d'une équipe Scrum interfonctionnelle, vous collaborerez en étroite collaboration avec d'autres ingénieurs logiciels, scientifiques des données, testeurs de logiciels et propriétaires de produits pour assurer le flux fluide des données dans toute l'organisation, permettant ainsi une prise de décision et des informations basées sur les données. Ce rôle nécessite une solide compréhension de l'architecture des données et des compétences en programmation dans Spark et Scala, ainsi qu'une passion pour travailler avec des ensembles de données volumineux et complexes.
Principales responsabilités:
- Développement Spark : concevez, créez et maintenez des pipelines de données évolutifs et robustes à l'aide d'Apache Spark.
- Développement de pipelines de données : concevoir, mettre en œuvre et optimiser des pipelines de données pour extraire, transformer et charger des données (ETL) provenant de diverses sources dans des systèmes de stockage et de traitement de données. Utilisez les capacités de traitement des données de Spark pour effectuer des transformations et des aggregations complexes sur de grands ensembles de données.
Gestion de l'entrepôt de données : développez et gérez des solutions d'entreposage de données à l'aide de Spark et Scala pour garantir la disponibilité, l'intégrité et la sécurité des données. Concevez et mettez en œuvre des modèles de données, des schémas et des stratégies d'indexation pour soutenir une récupération et une analyse efficaces des données.
Intégration des données : collaborez avec des équipes interfonctionnelles pour intégrer et consolider des données provenant de plusieurs sources, y compris des bases de données, des API et des systèmes externes. Assurez une intégration transparente des données sur différentes plates formes et applications à l'aide des connecteurs et des capacités d'intégration de Spark.
Qualité et gouvernance des données : mettez en place des contrôles de qualité des données et des processus de validation à l'aide de Spark et Scala pour garantir l'exactitude, la cohérence et la fiabilité des données. Établissez et appliquez des normes de gouvernance des données, des protocoles de sécurité des données et des réglementations sur la confidentialité des données.
Optimisation des performances : identifiez et résolvez les problèmes de performances dans les applications Spark, les pipelines de données et les bases de données. Optimisez les tâches Spark en ajustant les configurations, en tirant parti des mécanismes de mise en cache et en appliquant des techniques d'optimisation.
Collaboration et communication : collaborez avec des équipes interfonctionnelles, notamment des scientifiques des données et des ingénieurs logiciels, pour comprendre leurs besoins en matière de données et fournir des solutions Spark et Scala appropriées. Communiquez clairement les concepts et solutions techniques complexes aux parties prenantes techniques et non techniques.Technologies et tendances émergentes : restez au courant des dernières avancées en matière de Spark, Scala, des technologies Big Data, des plates-formes cloud et des outils de gestion de données. Évaluez et recommandez de nouvelles technologies et approches susceptibles d’améliorer les capacités d’ingénierie des données.Diplômes et compétences :
- Un baccalauréat ou une maîtrise en informatique, en systèmes d'information ou dans un domaine connexe ou une expérience équivalente
- Solides compétences en programmation en Scala et expérience avec Apache Spark.
- Maîtrise de SQL et expérience de travail avec des bases de données relationnelles
- Connaissance des technologies Big Data telles que Hadoop, Kafka ou Hive.
- Expérience en modélisation de données, conception de schémas et processus ETL.
- Compréhension des concepts d'entreposage de données et expérience avec les solutions d'entrepôt de données
- Connaissance des plates-formes cloud telles qu'AWS et expérience avec les services de données basés sur le cloud (par exemple, S3, EMR, Glue).
- Solides compétences en résolution de problèmes et capacité à analyser et résoudre des problèmes complexes liés aux données.
- Excellentes compétences en communication et en collaboration, avec la capacité de travailler efficacement dans un environnement d'équipe interfonctionnel.
- Attention aux détails et fort engagement envers la qualité, la sécurité et la gouvernance des données.
#LI-Remote
IQVIA est un fournisseur mondial de premier plan en matière d'analyses avancées, de solutions technologiques et de services de recherche clinique pour l'industrie des sciences de la vie. Nous croyons en repousser les limites de la science humaine et de la science des données pour avoir le plus grand impact possible, aider nos clients à créer un monde plus sain. Pour en savoir plus, visitez https://jobs.iqvia.com