Big Data Engineer (PySpark)

Job expired!

Únete a Capgemini como Ingeniero de Big Data (PySpark)

Roles y responsabilidades:

  • Diseñar y desarrollar proyectos de procesamiento de datos utilizando Spark Scala y PySpark.
  • Implementar pruebas unitarias robustas para transformaciones de datos y métodos auxiliares.
  • Usar Spark y Spark SQL para la gestión eficiente de datos y analytics en Hive utilizando Scala API.
  • Trabajar junto a Analistas de Negocios para validar los resultados de las pruebas y lograr la aprobación de los proyectos.
  • Documentar los procedimientos de diseño y operacionales para guiar futuros procesos e implementaciones.
  • Asegurar entregas de alta calidad a través de meticulosas revisiones de código por pares y adherencia a estándares de calidad.
  • Participar en entornos de codificación colaborativa, incluyendo la programación en pareja.
  • Contribuir a los esfuerzos del equipo mediante la creación de código de alta calidad y mantenible.

Calificaciones y requisitos:

  • Experiencia comprobada, que varía de 4 a 10 años, como Ingeniero de Datos Hadoop.
  • Experiencia demostrable en ecosistemas de Hadoop como Spark, Scala, PySpark, Python, Hive e Impala.
  • Destreza con herramientas adicionales como Oracle, Spark Streaming, Kafka y conceptos fundamentales de machine learning.
  • Competencia en prácticas Ágiles, integración y despliegue continuos (CI/CD), y herramientas como Git, Jenkins y Cloudera Distribution.
  • Comprensión profunda de la manipulación de estructuras de datos, sistemas distribuidos, desarrollo de aplicaciones y automatización.
  • Experiencia previa en los sectores de Banca Central o Finanzas es muy ventajosa.
  • La experiencia en computación en la nube, particularmente con AWS, se considerará una gran ventaja.

Embarque en una trayectoria profesional emocionante con Capgemini, aprovechando su experiencia en Big Data y tecnologías de ecosistemas para impulsar proyectos transformadores y soluciones innovadoras. ¡Aplica hoy para convertirte en parte de un equipo globalmente estimado como Ingeniero de Big Data especializado en PySpark!