Ingeniero de Datos Senior (Spark y Java)

Responsabilidades

• Diseñar, desarrollar y mantener tuberías de datos utilizando Apache Spark para procesar y transformar grandes volúmenes de datos de manera eficiente.
• Colaborar con arquitectos de datos y otros interesados ​​para definir la arquitectura de datos y las mejores prácticas.
• Asegurarse de que los modelos y estructuras de datos se alineen con los requisitos del negocio y sean escalables para las necesidades futuras.
• Trabajar en el procesamiento de datos en tiempo real y streaming utilizando Spark Streaming.
• Optimizar trabajos de Spark y código Java para rendimiento, escalabilidad y utilización de recursos.
• Controlar y solucionar problemas de tuberías de datos para garantizar el mínimo tiempo de inactividad y la máxima eficiencia.
• Implementar controles de calidad de datos, validación de datos y mecanismos de manejo de errores para mantener la integridad de los datos.
• Asegurarse de cumplir con las políticas de gobernabilidad y seguridad de datos.
• Documentar procesos de ingeniería de datos, flujos de datos y configuraciones para futuras referencias.
• Colaborar con científicos de datos, analistas e interesados comerciales para entender las necesidades de datos y ofrecer soluciones que satisfagan sus necesidades.
• Configurar sistemas de monitoreo y alerta para identificar y abordar proactivamente problemas en las tuberías de datos.
• Realizar tareas de mantenimiento de rutina y mantener el software y los sistemas actualizados.

Requisitos

• Título de licenciatura o superior en Ciencias de la Computación, Tecnología de la Información o un campo relacionado.
• Conocimientos en Java para desarrollo de software.
• Amplia experiencia con Apache Spark, incluyendo Spark SQL y Spark Streaming.
• Proficiencia en tecnologías y frameworks de big data como Hadoop, HDFS y otras herramientas relacionadas.
• Conocimientos de conceptos y tecnologías de almacenamiento de datos.
• Experiencia con sistemas de bases de datos (SQL y NoSQL).
• Fuertes habilidades para resolver problemas y la capacidad de trabajar en un entorno colaborativo y orientado al equipo.
• Excelentes habilidades de comunicación y documentación.
• Entendimiento de las mejores prácticas de seguridad, privacidad y cumplimiento de datos.