FlightAware- Senior Data Engineer (Remote)

Дата публикации: 2024-06-17

Страна: Соединенные Штаты Америки

Местоположение: HNC99: Удаленный офис - NC, Удаленный город, NC, 27601 США

Тип роли: Удаленная работа

Готовы ли вы раскрыть дополнительную ценность из самой полной в мире авиационной базы данных? FlightAware, часть Connected Aviation Solutions компании Collins Aerospace, создала ведущую на рынке авиационную программную платформу. Мы обрабатываем более 180+ миллионов сообщений в час из более чем 30 000 источников данных, аккумулируя невероятные 2 терабайта данных ежедневно и продолжая расти! Мы предлагаем самый полный и точный сервис отслеживания полетов в реальном времени, который является основой для различных успешных продуктов, центральных для авиационной отрасли.

В качестве Senior Data Engineer 2 в FlightAware, вы будете предоставлять техническое руководство и экспертизу, поскольку мы улучшаем наши возможности в области обработки данных. Группа Aviation Insight в отделе Engineering предоставляет данные в реальном времени и исторические данные посредством потоковой обработки данных для создания нашего единого источника истины. Эти инсайты играют ключевую роль в обучении наших предсказательных моделей. Ваши цели будут включать улучшение доступа к историческим данным и совершенствование ETL задач для поддержки моделей машинного обучения и отчетных целей.

Основные обязанности:

• Ведение технических проектов в области инженерии данных, включая улучшение платформ и рабочих процессов.
• Быстрое создание прототипов и переход систем в производство.
• Проектирование и переделка ETL процессов для подготовки данных для обучения моделей машинного обучения.
• Преобразование данных для поддержки продуктов Business Intelligence и аналитики.
• Архивирование потоков данных в запросные таблицы Iceberg.
• Работа с заинтересованными сторонами для определения технических дорожных карт, сосредотачивая внимание на проектах с высоким ROI.
• Наставничество для коллег и поддержка их карьерного роста, делясь своим опытом с командой FlightAware.

Что вы узнаете:

• Глубокое понимание авиационных данных и связанных с ними инсайтов.
• Как продукты данных FlightAware поддерживают приложения для клиентов.
• Знакомство с системами машинного обучения, делающими тысячи прогнозов в секунду.
• Влияние вашей работы на эффективность всей компании.

Требования к квалификации:

• Степень в области STEM и минимум 10 лет соответствующего опыта, или ученая степень с 7 годами опыта, или 14 лет соответствующего опыта без степени.
• Разрешение работать в США без спонсорства как сейчас, так и в будущем.
• Опыт работы в качестве ведущего или старшего инженера по данным/ученого или инженера-программиста.
• Владение системами очередей сообщений или pub/sub, такими как Kafka, Redis или RabbitMQ.
• Опыт работы с Python, Docker, Kubernetes и базами данных SQL/NoSQL.
• Опыт работы с платформами потоковой обработки, такими как Spark или Flink, и с провайдерами публичных облаков, в частности AWS.
• Знакомство с инструментами, такими как Debezium для CDC.
• Опыт работы с платформой Databricks.

Предпочтительные квалификации:

• Опыт работы с Rust или Scala.
• Страсть к авиации или наличие лицензии частного пилота.

Что мы предлагаем:

Наш конкурентный пакет льгот включает:

• Медицинская, стоматологическая и офтальмологическая страховка
• Три недели отпуска для новых сотрудников
• Щедрый план 401(k) с соответствием работод