Senior/Lead Data Engineer - AWS Glue

Empresa: Srijan Technologies

Ubicación: Gurgaon, Haryana, India

En Material, transformamos los desafíos de los clientes en oportunidades de crecimiento. Como socio estratégico global, colaboramos con las marcas más reconocidas del mundo y las empresas más innovadoras. Nuestro equipo global prospera en diseñar y ofrecer experiencias gratificantes para el cliente impulsadas por profundos conocimientos humanos, innovación en diseño y tecnología de vanguardia. Aceleramos la participación y el crecimiento, transformando las relaciones entre las empresas y sus clientes.

Srijan, una empresa de Material, es una firma global de ingeniería digital reconocida por resolver problemas tecnológicos complejos utilizando una profunda experiencia y asociaciones estratégicas. Únete a nosotros y sé parte de una Tribu Increíble.

Estamos buscando un Ingeniero de Datos altamente capacitado y motivado para unirse a nuestro equipo dinámico. El candidato ideal tendrá una amplia experiencia con AWS Glue, Apache Airflow, Kafka, SQL, Python y herramientas de DataOps. El conocimiento de SAP HANA y Snowflake es una ventaja. Este rol crítico implica diseñar, desarrollar y mantener la arquitectura del pipeline de datos de nuestro cliente, asegurando un flujo de datos eficiente y confiable en toda la organización.

• Diseñar, Desarrollar y Mantener Pipelines de Datos: Crear pipelines de datos robustos y escalables utilizando AWS Glue, Apache Airflow y otras tecnologías relevantes. Integrar diversas fuentes de datos, incluyendo SAP HANA, Kafka y bases de datos SQL.
• Gestión y Transformación de Datos: Diseñar e implementar procesos de transformación de datos usando SQL y Python. Asegurar la calidad e integridad de los datos mediante pruebas y validaciones rigurosas.
• Colaboración y Comunicación: Trabajar de cerca con científicos de datos, analistas y partes interesadas para entender los requisitos de datos. Colaborar con equipos multifuncionales para implementar prácticas de DataOps.
• Monitoreo y Optimización: Monitorear el rendimiento del pipeline de datos e introducir mejoras. Solucionar problemas relacionados con los datos y gestionar sistemas de monitoreo y alerta.
• Documentación y Mejores Prácticas: Mantener una documentación completa de los pipelines de datos y sus procesos. Adherirse a las mejores prácticas en ingeniería de datos, incluyendo el versionado de código, pruebas y procedimientos de despliegue.

• Amplia experiencia con AWS Glue para integración y transformación de datos.
• Proficiente en Apache Airflow para orquestación de workflows.
• Sólido conocimiento de Kafka para transmisión de datos en tiempo real.
• Habilidades avanzadas en SQL para consultas y gestión de bases de datos.
• Competencia en Python para tareas de scripting y automatización.
• Experiencia con SAP HANA para almacenamiento y gestión de datos.
• Familiaridad con herramientas y metodologías de DataOps.

• Conocimiento de Snowflake para soluciones de almacenamiento de datos en la nube.
• Experiencia con otros servicios de datos de AWS como Redshift, S3 y Athena.
• Familiaridad con tecnologías de big data como Hadoop, Spark y Hive.

• Fuertes habilidades analíticas y de resolución de problemas.
• Excelentes habilidades de comunicación y colaboración.
• Detallista con compromiso hacia la calidad y precisión de los datos.
• Capacidad para trabajar de manera independiente y gestionar múltiples proyectos.

• Título de licenciado o máster en Ciencias de la Computación, Tecnología de la Información o un campo relacionado.
• Más de 4 años de experiencia en ingeniería de datos o un rol relacionado.
• Historial comprobado de diseño e implementación de pipelines y workflows de datos complejos.

Material es una empresa global que colabora con las principales marcas del mundo. Nos centramos en la innovación y la creación de valor, trabajando en diversos sectores industriales como tecnología, comercio minorista, transporte, finanzas y salud.

Unirse a Material significa ser parte de un grupo talentoso con alcance global. Ofrecemos desarrollo