FlightAware- Senior Data Engineer (Remote)

Data publikacji: 2024-06-17

Kraj: Stany Zjednoczone Ameryki

Lokacja: HNC99: Biuro terenowe - zdalna lokalizacja NC, zdalne miasto, NC, 27601 USA

Typ roli: Zdalna

Odkryj Nową Wartość w Lotnictwie z FlightAware jako Starszy Inżynier Danych 2

Czy jesteś gotowy na odkrycie dodatkowej wartości z najpełniejszego na świecie zbioru danych lotniczych? FlightAware, część Collins Aerospace's Connected Aviation Solutions, stworzyła wiodącą w branży platformę oprogramowania lotniczego. Przetwarzamy ponad 180 milionów wiadomości na godzinę z ponad 30,000 źródeł danych - gromadząc oszałamiające 2 terabajty dziennie i to wciąż rośnie! Oferujemy najpełniejszą i najdokładniejszą usługę śledzenia lotów w czasie rzeczywistym, która stanowi kręgosłup wielu udanych produktów kluczowych dla przemysłu lotniczego.

O roli:

Jako Starszy Inżynier Danych 2 w FlightAware, będziesz dostarczał techniczne przywództwo i ekspertyzę, gdy będziemy rozwijać nasze możliwości inżynierii danych. Grupa Aviation Insight w Dziale Inżynierii dostarcza w czasie rzeczywistym i historyczne spostrzeżenia danych poprzez przetwarzanie strumieniowe w celu wygenerowania naszego jedynego źródła prawdy. Te spostrzeżenia są kluczowe dla szkolenia naszych modeli predykcyjnych. Twoimi celami będą poprawa dostępu do danych historycznych oraz udoskonalanie procesów ETL wspierających uczenie maszynowe oraz przypadki użycia raportowania.

Kluczowe obowiązki:

• Prowadzenie technicznych projektów z zakresu inżynierii danych, w tym ulepszeń platform oraz procesów workflow.
• Szybkie tworzenie dowodów koncepcji i wdrażanie systemów w produkcji.
• Projektowanie i przeprojektowywanie procesów ETL przygotowujących dane do szkolenia modeli uczenia maszynowego.
• Transformacja danych w celu wsparcia produktów Business Intelligence i analitycznych.
• Archiwizowanie źródeł danych do zapytaniowalnych tabel Iceberg.
• Współpraca z interesariuszami w celu definiowania roadmap technicznych, koncentrując się na projektach o wysokim zwrocie z inwestycji.
• Mentorowanie współpracowników i wspieranie ich rozwoju zawodowego, dzielenie się swoją wiedzą w całym FlightAware.

Co się nauczysz:

• Zdobędziesz głębokie zrozumienie danych lotniczych i powiązanych spostrzeżeń.
• Dowiesz się, jak produkty danych FlightAware wspierają aplikacje skierowane do klientów.
• Uzyskasz kontakt z systemami uczenia maszynowego dokonującymi tysięcy prognoz na sekundę.
• Doświadczysz wpływu swojej pracy na efektywność całej firmy.

Wymagane kwalifikacje:

• Stopień naukowy w dziedzinie STEM i minimalnie 10 lat odpowiedniego doświadczenia, lub zaawansowany stopień z 7 latami doświadczenia, lub 14 lat odpowiedniego doświadczenia bez stopnia.
• Musisz być uprawniony do pracy w Stanach Zjednoczonych bez potrzeby sponsorowania teraz ani w przyszłości.
• Doświadczenie jako Główny lub Starszy Inżynier Danych/Naukowiec lub Inżynier Oprogramowania.
• Biegłość w pracy z kolejkami wiadomości lub systemami pub/sub, jak Kafka, Redis, czy RabbitMQ.
• Do