Data Engineer PySpark

Job expired!

Únete a nuestro equipo: Ingeniero de Datos - PySpark en Sopra Steria

Descripción de la empresa

Acerca de Sopra Steria: Una entidad tecnológica líder en Europa, reconocida por su competencia en consultoría, servicios digitales y desarrollo de software. Sopra Steria ayuda a sus clientes a navegar su transformación digital, ofreciendo soluciones personalizadas y sostenibles que combinan un amplio conocimiento de la industria y tecnologías de vanguardia. Comprometidos con la innovación y la excelencia, Sopra Steria cree en un enfoque centrado en el cliente y un futuro digital más brillante a través del trabajo en equipo. Con una robusta fuerza laboral de 50,000 empleados en casi 30 países, logramos unos ingresos formidables de €5.1 mil millones en 2022.

Descripción del puesto

Actualmente estamos buscando un Ingeniero de Datos altamente calificado y apasionado para mejorar nuestro equipo dinámico. Este rol implica una estrecha colaboración con Científicos de Datos para desarrollar modelos de aprendizaje automático eficientes mediante la construcción y optimización de canalizaciones de datos. Tu experiencia en áreas específicas será fundamental para mantener y mejorar nuestras operaciones de datos.

Responsabilidades clave:

  • Colaborar con los Científicos de Datos para crear, refinar e implementar canalizaciones de aprendizaje automático.
  • Emplear PySpark para el procesamiento de datos robusto, transformación y preparación para el entrenamiento de modelos.
  • Utilizar AWS EMR y S3 para garantizar soluciones de manejo y almacenamiento de datos escalables y eficientes.
  • Crear y gestionar flujos de trabajo ETL utilizando Stream sets para la ingestión y transformación de datos eficientes.
  • Diseñar y mantener canalizaciones para entregar conjuntos de datos de entrenamiento e inferencia de calidad superior.
  • Trabajar en equipos funcionales para garantizar la implementación sin problemas y capacidades de inferencia en tiempo real/casi en tiempo real.
  • Optimizar las canalizaciones para mejorar el rendimiento, escalabilidad y fiabilidad.
  • Administrar políticas y controles IAM para asegurar el acceso y gestión de datos de manera efectiva.
  • Optimizar trabajos Spark y arquitectura para el procesamiento de datos de alto rendimiento.

Requisitos:

Obligatorios:
  • Conocimientos avanzados de SQL, incluyendo funciones de ventana, y profundo conocimiento de la Arquitectura Spark, PySpark o Scala con Spark, Hadoop.
  • Capacidad demostrada para diseñar e implementar canalizaciones de datos robustas.
  • Fortes habilidades de resolución de problemas y colaboración efectiva en equipos.
  • Excelentes habilidades de comunicación con competencia para traducir conceptos técnicos a partes interesadas no técnicas.
Deseables:
  • Experiencia previa con Airflow, S3 y Stream sets, o herramientas ETL similares.
  • Conocimiento de arquitecturas de inferencia en tiempo real o casi en tiempo real.
  • Entendimiento básico de Kafka, AWS IAM, AWS EMR y Snowflake.

Calificaciones:

BE o una calificación similar con una experiencia total esperada de 06-08 años en campos relevantes.

Información adicional:

En Sopra Steria, nos oponemos a todas las formas de discriminación. Nos enorgullecemos de fomentar un espacio de trabajo inclusivo y respetuoso, acogiendo la diversidad en todas sus formas. Estamos dedicados a la accesibilidad e invitamos a individuos con discapacidades a postularse para esta posición.

¿Listo para dar forma al futuro con nosotros en Sopra Steria? ¡Solic