Ingeniero Senior de Big Data

#ouroneteam

En Kaizen, nuestro compromiso con el valor inigualable de los datos dirige cada decisión que tomamos. Expandiéndonos desde nuestra robusta arquitectura Lake House, imaginamos un cambio transformador hacia una arquitectura de Data Mesh. Este enfoque se centra en tratar los datos como un producto con contratos bien definidos, propiedad distribuida y diseño orientado al dominio.

A medida que buscamos mejorar aún más nuestra plataforma de datos, nos estamos enfocando en la democratización de los datos, la gobernanza y la observabilidad. ¿El escenario ideal? Tener cada pedazo de datos perfectamente accesible, monitoreado y gobernado.

Nuestro equipo de Plataforma de Datos está bien preparado para liderar esta transición, defendiendo el diseño y expansión de los Productos de Datos de próxima generación. Al unirte a nuestro equipo, serás parte de una iniciativa que posiciona a Kaizen a la vanguardia de la innovación impulsada por datos.

#ourmission

Nuestra infraestructura Lake House ha sido un pilar fundamental, apoyando sin problemas a una cohorte diversa desde BI, Data Science y ML hasta nuestros innovadores escuadrones de productos. Cuando nos dirigimos hacia la siguiente frontera caracterizada por los Productos de Datos y las perspectivas de un paradigma de Data Mesh, anticipamos resultados transformadores. En el corazón de nuestra misión, nos esforzamos por garantizar la firmeza de nuestras tuberías, la agilidad de nuestra infraestructura y la meticulosidad de nuestros diseños, mientras mantenemos los estándares más altos de gobernanza de datos.

Embarcándonos en esta trayectoria ambiciosa, estamos en busca de ingenieros de datos versados en operaciones de datos, con un agudo sentido de las mejores prácticas de ingeniería de software y una mentalidad orientada al producto. Un papel clave para nuestro equipo es arquitectar y elaborar herramientas de utilidad que abstraigan la complejidad. Al hacerlo, proporcionamos a otros equipos soluciones plug-and-play, liberándolos de los detalles técnicos y reduciendo la carga cognitiva.

Para mejorar aún más nuestro compromiso está la reconocida experiencia de Kaizen en computación distribuida. Este repositorio de conocimiento está listo para ser aprovechado, mostrando nuestra dedicación implacable a impulsar una cultura centrada en los datos en toda la empresa.

#ourTechStack

Spark, Scala, Python, Azure Databricks, Delta, Apache Airflow, Azure DevOps, Terraform Grafana y más

Responsabilidades:

• Contribuir al desarrollo de una Plataforma de Datos escalable y segura alineada con el paradigma del Data Mesh;
• Diseñar, implementar y mejorar herramientas y servicios para la orquestación, observabilidad, gobernanza de datos y calidad de los datos a altos estándares de ingeniería
• Desplegar y administrar nuestros productos utilizando las mejores prácticas de CI/CD siguiendo la cultura de 'lo construyes, lo ejecutas'
• Mantenerse actualizado sobre tecnologías, metodologías y mejores prácticas de la industria emergentes para garantizar la mejora continua de la plataforma de datos
• Defender una cultura de documentación, donde la documentación técnica vive junto con nuestros productos y garantiza que sean fáciles de usar y mantener

Requisitos:

• Conocimiento de Spark: Conocimiento demostrado en Apache Spark, con la capacidad de escribir y optimizar código efectivo para tareas de procesamiento de datos.
• Ingeniería de Software: Sólida formación en ingeniería de software, habilidad para diseñar, escribir y desplegar código de grado de producción que se alinea con nuestra visión data-first.
• Experto en Tubos de Datos: Experiencia práctica con marcos de orquestación de tubos de datos, garantizando un flujo de datos suave e integración entre diferentes fuentes y plataformas.
• Familiarizado con DevOps y DataOps: Experiencia práctica en DevOps, con preferencia para los candidatos familiarizados con las prácticas de DataOps, garantizando la integración continua, la entrega y las operaciones de datos eficientes.
• Soluciones de Datos de Extremo a Extremo: Competencia para diseñar, planificar y entregar tubos de datos integrales, desde la obtención e ingesta hasta el procesamiento y el servicio.
• Evaluación de Tecnología: Una mentalidad curiosa, con la capacidad de entender, evaluar e integrar potencialmente nuevas tecnologías que pueden impulsar el enfoque basado en datos de Kaizen.
• Gobernanza y Seguridad de Datos: Una comprensión de la importancia de la gobernanza de datos, con un enfoque en garantizar que los activos de datos estén protegidos, accesibles y cumplan con los estándares regulatorios.