FlightAware- Senior Data Engineer (Remote)

Дата публікації: 2024-06-17

Країна: Сполучені Штати Америки

Місцезнаходження: HNC99: Віддалене відділення - NC, Віддалене місто, NC, 27601 США

Тип ролі: Віддалений

Чи готові ви розкрити додаткову цінність з найбільш повного в світі авіаційного набору даних? FlightAware, частина Connected Aviation Solutions від Collins Aerospace, побудувала передову платформу авіаційного програмного забезпечення. Ми обробляємо понад 180+ мільйонів повідомлень на годину з 30,000+ джерел даних — накопичуючи величезні 2 терабайти щодня, і ця кількість постійно зростає! Ми пропонуємо найповніший і найточніший сервіс відстеження польотів у реальному часі, який є основою різних успішних продуктів, центральних для авіаційної галузі.

Як старший інженер з даних 2 рівня в FlightAware, ви забезпечите технічне лідерство та експертизу, покращуючи наші можливості в інженерії даних. Група Aviation Insight в відділі інженерії надає дані та історичні інсайти в реальному часі через потокову обробку даних, щоб створити наше єдине джерело правди. Ці інсайти є важливими для навчання наших моделей прогнозування. Ваші завдання будуть включати покращення доступу до історичних даних та вдосконалення ETL задач для підтримки машинного навчання та звітності.

• Вести технічні проекти в інженерії даних, включаючи вдосконалення платформи та процесів робочого процесу.
• Швидко розробляти докази концепцій та переходити до виробничих систем.
• Проектувати та перепроектовувати ETL процеси для підготовки даних для навчання моделей машинного навчання.
• Трансформувати дані для підтримки продуктів бізнес-аналітики та аналітики.
• Архівувати дані у запитувані таблиці Iceberg.
• Працювати зі стейкхолдерами для визначення технічних дорожніх карт, зосереджуючись на проектах з високим ROI.
• Менторити колег та підтримувати їх кар'єрний ріст, ділячись досвідом по всій компанії FlightAware.

• Отримати глибоке розуміння авіаційних даних та пов'язаних інсайтів.
• Дізнатися, як дані продукти FlightAware підтримують додатки для клієнтів.
• Отримати досвід роботи з системами машинного навчання, що роблять тисячі прогнозів на секунду.
• Відчути вплив вашої роботи на ефективність всієї компанії.

• STEM ступінь та мінімум 10 років відповідного досвіду, або ступінь Advanced з 7 роками досвіду, або 14 років відповідного досвіду без ступеня.
• Дозвіл на роботу в США без спонсорства зараз чи в майбутньому.
• Досвід роботи як старший інженер з даних/вчений або інженер-програміст.
• Володіння системами черг повідомлень або pub/sub, такими як Kafka, Redis або RabbitMQ.
• Досвід роботи з Python, Docker, Kubernetes та базами даних SQL/NoSQL.
• Досвід роботи з платформами обробки потоків, такими як Spark або Flink, та публічними хмарними