Ingeniero de Big Data

El Equipo

En Kaizen, nuestro objetivo es tomar decisiones basadas en datos para automatizar nuestros servicios mientras nos enfocamos en ofrecer experiencias personalizadas al cliente. Nuestro equipo de aprendizaje automático está dedicado a esta misión mediante la construcción de una variedad de modelos, desde tareas de clasificación binaria hasta sistemas de recomendación. Nos enfocamos en transformar las necesidades empresariales en aplicaciones de producción y cubrimos una amplia gama de sectores empresariales utilizando diferentes tipos de datos y manejando una diversidad de proyectos amplia.

Nuestros equipos se componen de tres roles diferentes, científicos de datos, ingenieros de aprendizaje automático e ingenieros de datos, de modo que incluyen todas las habilidades necesarias para llevar los proyectos a producción.

El Rol

Estamos buscando Ingenieros de Datos apasionados y ambiciosos que puedan encontrar soluciones creativas a problemas desafiantes. El rol formará parte de un equipo de aprendizaje automático y trabajará en la entrega de tuberías de datos/características optimizadas en proyectos individuales así como en nuestra infraestructura principal en la tienda de características.

Responsabilidades:

• Diseñar, implementar y operar estructuras de datos a gran escala, de alto volumen y alto rendimiento;
• Trabajar en estrecha colaboración con los científicos de datos para optimizar las consultas de datos tanto para fuentes en tiempo real como por lotes;
• Diseñar arquitecturas de big data con un enfoque en escalabilidad y rendimiento para los problemas de ciencia de datos;
• Apoyar los desarrollos en nuestra infraestructura de generación de características en tiempo real.

Requisitos

Deben tener:

• 3+ años de experiencia con Spark Core;
• Experiencia en el uso de Spark structured streaming;
• 3+ años de experiencia práctica en la escritura de consultas SQL complejas y altamente optimizadas en grandes conjuntos de datos;
• 3-5 años de experiencia en programación Python;
• Experiencia con motores de flujo de trabajo, es decir, Airflow;
• Fuertes habilidades en trabajo en equipo, comunicación y pensamiento analítico;
• Conocimiento de herramientas de control de versiones;
• Fluidez en inglés, tanto oral como escrito;

Sería deseable:

• Experiencia con Azure / Databricks;
• Experiencia con ingeniería de características;
• Experiencia con diseño e implementación de tiendas de características;
• Experiencia con delta lake;
• Experiencia con Redis;
• Experiencia con KAFKA;
• Experiencia con bases de datos SQL y NoSQL.