FlightAware- Senior Data Engineer (Remote)

Fecha de publicación: 2024-06-17

País: Estados Unidos de América

Ubicación: HNC99: Oficina de Campo - Ubicación Remota NC, Ciudad Remota, NC, 27601 USA

Tipo de Rol: Remoto

¿Estás listo para desbloquear valor adicional del conjunto de datos de aviación más completo del mundo? FlightAware, parte de Soluciones de Aviación Conectada de Collins Aerospace, ha construido una plataforma de software líder en la industria de la aviación. Procesamos más de 180 millones de mensajes por hora de más de 30,000 fuentes de datos, ¡acumulando unos asombrosos 2 terabytes diarios y creciendo! Ofrecemos el servicio de rastreo de vuelos en tiempo real más completo y preciso, que forma la columna vertebral de varios productos exitosos centrales para la industria de la aviación.

Como Ingeniero de Datos Senior 2 en FlightAware, proporcionarás liderazgo técnico y experiencia mientras mejoramos nuestras capacidades de ingeniería de datos. El grupo de Insight de Aviación en Ingeniería ofrece información de datos en tiempo real e históricos a través del procesamiento de datos en streaming para generar nuestra única fuente de verdad. Estas ideas son fundamentales para entrenar nuestros modelos predictivos. Tus objetivos incluirán mejorar el acceso a datos históricos y refinar trabajos ETL para dar soporte a casos de uso de aprendizaje automático y generación de informes.

Responsabilidades clave:

• Dirigir proyectos técnicos en ingeniería de datos, incluyendo mejoras de plataforma y procesos de flujo de trabajo.
• Desarrollar rápidamente pruebas de concepto y transicionar sistemas a producción.
• Diseñar y rediseñar procesos ETL para preparar datos para el entrenamiento de modelos de aprendizaje automático.
• Transformar datos para dar soporte a productos de Inteligencia de Negocios y análisis.
• Archivar flujos de datos en tablas Iceberg consultables.
• Trabajar con las partes interesadas para definir hojas de ruta técnicas, centrándose en proyectos de alto retorno de inversión (ROI).
• Mentorear a compañeros y apoyar su crecimiento profesional, compartiendo tu experiencia en FlightAware.

Lo que aprenderás:

• Obtener una comprensión profunda de los datos de aviación y los conocimientos asociados.
• Aprender cómo los productos de datos de FlightAware apoyan aplicaciones orientadas al cliente.
• Exponerse a sistemas de aprendizaje automático que hacen miles de predicciones por segundo.
• Experimentar el impacto de tu trabajo en la eficiencia de toda la compañía.

Calificaciones requeridas:

• Título en STEM y un mínimo de 10 años de experiencia relevante, o un título avanzado con 7 años de experiencia, o 14 años de experiencia relevante sin título.
• Debe estar autorizado para trabajar en los EE.UU. sin patrocinio, ahora o en el futuro.
• Experiencia como Líder o Ingeniero de Datos/Scientífico o Ingeniero de Software Senior.
• Competencia con colas de mensajes o sistemas pub/sub como Kafka, Redis o RabbitMQ.
• Experiencia con Python, Docker, Kubernetes y bases de datos SQL/NoSQL.
• Experiencia con plataformas de procesamiento en streaming como Spark o Flink, y proveedores de nube pública, especialmente AWS.
• Familiaridad con herramientas como Debezium para CDC.
• Experiencia con la plataforma Databricks.

Calificaciones preferidas:

• Experiencia con Rust o Scala.
• Pasión por la aviación o una licencia de piloto privado.

Qué ofrecemos:

Nuestro paquete de beneficios competitivos incluye:

• Seguro médico, dental y de visión
• Tres semanas de vacaciones para nuevos empleados
• Plan generoso de 401(k) con contribución del empleador y contribución de jubilación por separado
• Reembolso de matrícula y programas de reembolso de préstamos estudiantiles
• Seguro de vida y discapacidad
• Cob