Software Development Engineer III - ETL Engineer

Empresa: Groupon

Groupon es un mercado líder que conecta a las personas con lo mejor que su ciudad o destino tiene para ofrecer. A través del comercio móvil en tiempo real en negocios locales, eventos en vivo y destinos de viaje, Groupon ayuda a las personas a descubrir experiencias que hacen la vida completa, divertida y gratificante. Al apoyar a los negocios locales, fomentamos relaciones fuertes con los clientes y comunidades vibrantes. A pesar de tener miles de empleados en todo el mundo, nuestra cultura inspira innovación, recompensa la toma de riesgos y celebra el éxito.

En Groupon, entendemos que las grandes personas hacen grandes empresas. Combinamos lo mejor de ambos mundos al juntar los recursos y la escala de una gran compañía con la autonomía y el potencial de impacto de una organización más pequeña. Somos curiosos, divertidos, un poco intensos y profundamente comprometidos a ayudar a los negocios locales a prosperar.

El equipo de Ingestión de Datos en Groupon es central para todo lo relacionado con los datos. Definimos y construimos soluciones de siguiente generación basadas en la nube para ingerir y recopilar petabytes de datos en nuestro lago de datos y almacén de datos. Nuestra misión es empoderar a los analistas de datos y científicos de datos en todas las unidades de negocios para tomar decisiones informadas. En este rol, tendrás la oportunidad de combinar tus habilidades en informática, sistemas distribuidos y sistemas de producción escalables y de alto rendimiento.

• Diseñar y desarrollar pipelines y marcos de trabajo de ingestión de datos en lote/streaming de alto volumen que abarcan las plataformas de datos de AWS y GCP.
• Concebir, codificar y lanzar plataformas de ingestión y recopilación de datos de próxima generación.
• Participar en la definición de requisitos, discusiones arquitectónicas de sistemas y datos.
• Liderar técnicamente y mentorear a ingenieros junior en desarrollo de software y mejores prácticas de ingeniería de datos.
• Colaborar con equipos ágiles multifuncionales, incluidos ingenieros de software, ingenieros de datos, expertos en ML y analistas de datos.

Estamos emocionados de conocerte si tienes:

• Licenciatura/Maestría en Ciencias de la Computación con más de 5 años de experiencia en sistemas distribuidos, ingeniería de datos o desarrollo de software.
• Fuertes habilidades de codificación en lenguajes como Python y Java.
• Experiencia con bases de datos SQL y NoSQL (Teradata, MySQL, Postgres, Cassandra, Elasticsearch, HBase, etc.).
• Familiaridad con la línea de comandos de UNIX.
• Experiencia en tecnologías de big data como Apache Spark, Hadoop, Hive, etc.
• Experiencia profunda con ETL, linaje de datos y problemas de calidad de datos.
• Experiencia en pipelines de datos en lote y streaming.
• Experiencia con tecnologías en la nube de AWS o GCP, especialmente relacionadas con el procesamiento de datos a escala.
• Fuerte comprensión de servicios de producción con SLA estrictos y prácticas de CI/CD.
• Excelentes habilidades de comunicación escrita y verbal.
• Pasión por construir plataformas de datos y deseo de innovar.

• Experiencia con Airflow y Apache Kafka.
• Conocimiento de Scala.
• Experiencia con HBase y caché Redis.
• Experiencia en Google Data Streams y Google Dataproc.
• Experiencia con tecnologías de captura de datos en cambio (CDC).
• Experiencia con tecnologías modernas de almacén de datos como Delta Lake y marcos Hudi.
• Experiencia desarrollando aplicaciones distribuidas con herramientas de registro centralizado, métricas, monitoreo y alertas.

• Enfoque en el cliente: Hacer lo correcto para el cliente impulsa nuestro negocio hacia adelante.
• Obsesión por la calidad: Tu código simplemente funciona y escala linealmente.
• Jugadores de equipo: Trabajas bien con los demás, proporcionando y recibiendo retroalimentación constructiva.
• Aprend