FlightAware- Senior Data Engineer (Remote)

Date de publication : 2024-06-17

Pays : États-Unis d'Amérique

Lieu : HNC99 : Bureau sur le terrain - NC Emplacement à distance, Ville éloignée, NC, 27601 USA

Type de rôle du poste : À distance

Êtes-vous prêt à débloquer une valeur supplémentaire à partir du jeu de données aéronautiques le plus complet au monde ? FlightAware, une partie des Solutions d'Aviation Connectée de Collins Aerospace, a construit une plate-forme logicielle aéronautique de premier plan dans l'industrie. Nous traitons plus de 180+ millions de messages par heure provenant de plus de 30 000 flux de données, accumulant un impressionnant 2 téraoctets quotidiennement et en croissance ! Nous offrons le service de suivi de vol en temps réel le plus complet et le plus précis, qui constitue la colonne vertébrale de divers produits réussis centraux pour l'industrie aéronautique.

En tant qu'Ingénieur de Données Principal 2 chez FlightAware, vous fournirez un leadership technique et une expertise alors que nous améliorons nos capacités d'ingénierie des données. Le groupe Aviation Insight en Ingénierie fournit des insights de données en temps réel et historiques via le traitement de données en streaming pour générer notre source unique de vérité. Ces insights sont essentiels pour former nos modèles prédictifs. Vos objectifs incluront l'amélioration de l'accès aux données historiques et le raffinement des tâches ETL pour soutenir les cas d'utilisation de l'apprentissage automatique et des rapports.

• Diriger des projets techniques en ingénierie des données, y compris les améliorations de la plate-forme et les processus de flux de travail.
• Développer rapidement des preuves de concept et faire passer les systèmes en production.
• Concevoir et repenser les processus ETL pour préparer les données à la formation des modèles d'apprentissage automatique.
• Transformer les données pour soutenir les produits d'Intelligence d'Affaires et d'analyse.
• Archiver les flux de données dans des tables Iceberg interrogeables.
• Travailler avec les parties prenantes pour définir des feuilles de route techniques, en se concentrant sur les projets à fort retour sur investissement.
• Encadrer les pairs et soutenir leur croissance de carrière, en partageant votre expertise à travers FlightAware.

• Acquérir une compréhension approfondie des données aéronautiques et des insights associés.
• Apprendre comment les produits de données de FlightAware soutiennent les applications destinées aux clients.
• Avoir une exposition aux systèmes d'apprentissage automatique faisant des milliers de prédictions par seconde.
• Expérimenter l'impact de votre travail sur l'efficacité de l'ensemble de l'entreprise.

• Diplôme STEM et minimum 10 ans d'expérience pertinente, ou un diplôme avancé avec 7 ans d'expérience, ou 14 ans d'expérience pertinente sans diplôme.
• Doit être autorisé à travailler aux États-Unis sans parrainage maintenant ou à l'avenir.
• Expérience en tant qu'Ingénieur/Scientifique Principal(e) en Données ou Ingénieur(e) Logiciel Senior.
• Maîtrise des files de messages ou des systèmes pub/sub comme Kafka, Redis ou RabbitMQ.
• Expérience avec Python, Docker, Kubernetes, et bases de données SQL/NoSQL.
• Expérience avec les plates-formes de traitement en streaming comme Spark ou Flink, et les fournisseurs de cloud public, notamment AWS.
• Familiarité avec des outils comme Debezium pour CDC.
• Expérience avec la plate-forme Databricks.

• Expérience avec Rust ou Scala.
• Une passion pour l'aviation ou un brevet de pilote privé.

Notre package de bénéfices compétitifs inclut :

• Assurance médicale, dentaire et optique
• Trois semaines de vacances pour les nouvelles recrues
• Plan 401(k) généreux avec une correspond