Senior Big Data Application Engineer (Remote)

Description du poste :

Le groupe Technologie et opérations globales (GTO) d'IQVIA élargit ses responsabilités. Pour naviguer efficacement dans ce périmètre accru, nous recherchons un Ingénieur senior en applications Big Data pour rejoindre notre équipe.

Rejoignez notre Data Office en tant qu'ingénieur senior en applications Big Data, où vous jouerez un rôle clé dans l'optimisation des opérations de notre Big Data Factory. Notre équipe dynamique gère plus de 40 pétaoctets de données à travers des milliers de flux de travail sur des plateformes Hadoop CDP publiques et privées, Snowflake Data Cloud et Databricks. Votre rôle sera crucial pour conduire les optimisations avec un minimum de supervision, en veillant à ce que nos processus de big data soient aussi efficaces et économiques que possible.

• Développer des optimisations avancées basées sur Spark pour assurer des performances optimales et une rentabilité de notre infrastructure de plateforme de données sur site et cloud.
• Utiliser une expertise approfondie en Scala, Python, SQL et TEZ pour générer des économies de coûts significatives et des améliorations de performances.
• Diriger les initiatives d'automatisation des transferts de données et de mise en œuvre de stratégies de réutilisation et d'archivage des données, réduisant de manière significative les coûts de stockage et de traitement.
• Développer et appliquer les meilleures pratiques et normes pour le développement et le déploiement d'applications Spark, assurant la cohérence et la fiabilité de notre écosystème big data.
• Réaliser des analyses de performances approfondies des applications Spark, en optimisant le code et les requêtes pour atteindre une efficacité maximale.
• Optimiser l'utilisation de nos plateformes BI en adaptant les modèles de données et les tableaux de bord pour le traitement et l'analyse des big data.
• Créer et fournir des supports de formation axés sur les techniques d'optimisation de Spark et les meilleures pratiques pour les ressources de notre unité commerciale.

• Diplôme de licence en informatique, ingénierie ou domaine connexe ; diplôme de master préféré ; ou expérience équivalente.
• Au moins 8 ans d'expérience approfondie en ingénierie des données axée sur le développement d'applications Spark et SQL.
• Expertise démontrée en technologies de big data, y compris Apache Spark, Scala, Python, SQL et TEZ.
• Expérience prouvée dans la génération d'économies de coûts significatives et les améliorations de performances dans un environnement big data.
• Expérience dans l'optimisation du code Spark, des requêtes Impala et de la stratégie de partitionnement Hive pour améliorer l'évolutivité, la fiabilité et les performances.
• Expertise dans les optimisations de performances Hive, telles que l'utilisation du cache distribué pour les petits ensembles de données, les partitions de données, le bucketing dans Hive et les jointures côté carte.
• Expérience avec Snowflake, Databricks, Oracle et Cloudera pour la gestion et l'optimisation des données.
• Capacités exceptionnelles d'analyse et de résolution de problèmes, avec la capacité de mener des analyses techniques détaillées pour découvrir des opportunités d'optimisation.
• Excellentes compétences en communication, avec la capacité de diriger des équipes interfonctionnelles et d'articuler des concepts techniques complexes à des parties prenantes non techniques.

IQVIA est un fournisseur mondial de premier plan d'analyses avancées, de solutions technologiques et de services de recherche clinique pour l'industrie des sciences de la vie. Nous croyons en repoussant les limites de la science humaine et de la science des données pour avoir le plus grand impact possible – pour aider nos clients à créer un monde plus sain. En savoir plus

Nous nous engageons à offrir des opportunités d'emploi égales pour tous, y compris les anciens combattants et les candidats handicapés. Lire notre politique d'égalité des chances en matière d'emploi

La capacité d'IQVIA à opérer et à fournir certains services aux clients et partenaires nécessite que IQ