Lead Data Engineer

À propos de PrePass

PrePass® est la plateforme de péage et de contournement de stations de pesage la plus avancée et la plus utilisée en Amérique du Nord. Nos technologies de pointe permettent aux transporteurs qualifiés de contourner les installations d'inspection à la vitesse autoroutière, améliorant ainsi l'efficacité en économisant du temps, du carburant et de l'argent, tout en réduisant les émissions. Uniquement, PrePass offre des solutions de contournement et de péage, permettant aux flottes de gérer efficacement les coûts de péage, d'éliminer les violations de péage et de résoudre automatiquement les litiges de péage. En tant que seul système de pré-dédouanement développé, détenu et exploité aux États-Unis, PrePass est fier d'être le seul Partenaire Corporatif Endossé de l'American Trucking Associations. Plus de 105 000 flottes font confiance à PrePass, desservant plus de 750 000 véhicules commerciaux.

Nous recherchons un Ingénieur Principal en Données pour diriger des solutions innovantes répondant aux besoins dynamiques de notre entreprise en expansion. Dans ce rôle, vous dirigerez la conception, le développement et la mise en œuvre de notre architecture de données de nouvelle génération et basée sur le cloud. Vous mentorerez et guiderez également une équipe de talentueux ingénieurs en données, mélangeant expertise technique et vision stratégique. Nous recherchons un pionnier passionné par l'innovation et l'apprentissage continu, avec une aptitude égale pour le codage et la conceptualisation de solutions complexes à travers diverses équipes et domaines.

Vos Responsabilités Clés

• Concevoir et mettre en œuvre une architecture évolutive et distribuée utilisant Azure Databricks, Delta Lake et d'autres services Microsoft Azure.
• Agir en tant qu'expert technique, diriger des projets et optimiser les systèmes de production pour leur fiabilité, performance, évolutivité et sécurité.
• Collaborer avec la gestion des produits et la direction de l'ingénierie pour architecter et construire des solutions alignées sur les fonctionnalités de la feuille de route.
• Mettre en œuvre les meilleures pratiques de Microsoft Azure pour la qualité des données, la gouvernance, la sécurité, la traçabilité et le catalogage.
• Encadrer des ingénieurs moins expérimentés et diriger une équipe d'environ 5 ingénieurs.
• Surveiller activement les flux de travail et les ressources informatiques pour améliorer l'efficacité et minimiser les coûts.
• Construire des solutions robustes pour l'orchestration et l'observation.
• Dépanner les problèmes du système, prioriser les correctifs et déléguer les tâches efficacement au sein de l'équipe.
• Superviser les versions de code mises en production, en assurant des transitions fluides.
• Conduire des exercices de prototypage pour démontrer la faisabilité et la valeur des solutions et architectures.

Qualifications

Obligatoires

• Licence en informatique, ou dans un domaine technique pertinent, ou expérience équivalente.
• Minimum de 8 ans d'expérience dans la conception et la construction de solutions de bases de données à grande échelle, avec au moins 2 ans dans un rôle de leadership.
• Minimum de 3 ans d'expérience en programmation dans Python et Pyspark.
• Compétences expertes en SQL.
• Expérience étendue dans la construction de solutions ETL/ELT utilisant Azure Databricks, Azure Data Factory ou des outils similaires.
• Expérience dans la conception de structures et de modèles de données pour les lacs de données.
• Bonne compréhension du stockage et du calcul distribués.
• Maîtrise des outils de reporting et de visualisation des données, notamment PowerBI.
• Maîtrise de SSIS.
• Familiarité avec les pratiques d'ingénierie de production logicielle, le contrôle de version, les revues de code par les pairs, les tests automatisés et le CI/CD.
• Bonne capacité à collaborer, adaptable à des environnements fluides et accueillant le changement.
• Engagement à rester