Ingeniero de Datos Spark Scala | Devoteam Maroc Nearshore

Descripción de la empresa

En Devoteam, somos «Transformadores Digitales». El respeto, la honestidad y la pasión impregnan nuestra tribu cada día.

Juntos, ayudamos a nuestros clientes a ganar la batalla digital: desde la consultoría hasta la implementación de tecnologías innovadoras, hasta la adopción de nuevas formas de uso.

Cloud, Ciberseguridad, Datos, DevOps, Desarrollo Fullstack, Low Code, RPA ya no tienen secretos para nuestra tribu!

Nuestros 10,000+ colaboradores están certificados, formados y acompañados a diario para asumir nuevos desafíos innovadores.

Líder en Cloud, Ciberseguridad y Datos en EMEA, el Grupo Devoteam generó en 2022 ventas de 1,036 mil millones de euros y tiene como ambición duplicarlas en los próximos 5 años.

Devoteam Marruecos, un actor de referencia en IT con más de 30 años de experiencia (350+ consultores) acelera su crecimiento desarrollando su competencia en nearshore para responder a las necesidades de nuestros clientes franceses, europeos y de Oriente Medio.

¿Estás listo(a) para unirte a nosotros y enfrentar juntos este desafío?

Descripción del puesto

Ingeniero de Datos Spark Scala @ Devoteam Data Driven.

En un mundo donde las fuentes de datos están en constante evolución, Devoteam Data Driven ayuda a sus clientes a transformar sus datos en información útil y así les da un impacto para generar más valor comercial.

Data Driven aborda las siguientes 3 dimensiones principales: Estrategia de Datos, Datos para Negocios y Fundamentos de Datos, apoyando a sus clientes para hacerlos aún más eficientes y competitivos a diario.

Dentro de los equipos Nearshore de Devoteam Marruecos, te unirás a la tribu Data Foundation: un equipo entusiasta de Ingenieros de Datos, Data Ops, Arquitectos Líderes de Tecnología y Jefes de Proyecto trabajando en las plataformas y el ecosistema de datos: diseñar, construir y modernizar las plataformas y soluciones de datos, conceptualizar pipelines de datos con enfoque en la agilidad y DevOps aplicado a los datos.

Serás el eslabón esencial para proporcionar datos confiables y valorados a las áreas del negocio, permitiéndoles crear sus nuevos productos y servicios. También apoyarás a los equipos de Ciencia de Datos proporcionándoles los entornos de datos "datalab" necesarios para llevar a cabo sus exploraciones en el diseño e industrialización de sus modelos, a saber:

• Diseñar, desarrollar y mantener pipelines de datos eficientes para extraer, transformar y cargar datos de diferentes fuentes hacia sistemas de almacenamiento de datos de tipo Lakehouse (datalake, datawarehouse)
• Escribir código Scala, a menudo asociado con Apache Spark por sus características concisas y expresivas, para realizar transformaciones complejas en grandes volúmenes de datos
• Apoyarse en las capacidades ofrecidas por Apache Spark, como transformaciones y acciones distribuidas, para procesar datos a gran escala de manera rápida y eficiente
• Identificar y resolver problemas de rendimiento en los pipelines de datos, optimizando consultas Spark, ajustando la configuración de Spark e implementando mejores prácticas.
• Colaborar con otros equipos para integrar los pipelines de datos con bases de datos SQL, noSQL, streaming Kafka, sistemas de archivos tipo buckets...
• Si es necesario, diseñar e implementar pipelines de procesamiento de datos en tiempo real utilizando las funcionalidades de streaming de Spark
• Implementar mecanismos de seguridad para proteger los datos sensibles utilizando las funcionalidades de autenticación, autorización RBAC/ABAC, cifrado, anonimato de datos
• Documentar el código, los pipelines de datos, los esquemas de datos y las decisiones de diseño para asegurar su comprensión y mantenibilidad
• Implementar pruebas unitarias e integración para garantizar la calidad del código y depurar posibles problemas en los pipelines de datos

Tu potencial se desplegará a través de un sólido dominio de tus fundamentos técnicos, conocimiento a fondo de los datos que tratas y manipulas, y especialmente tu firme voluntad de comprender las necesidades y el negocio para el que trabajarás.

Tu campo de juego: la distribución, la energía, las finanzas, la industria, la salud y el transporte con muchos casos de uso y nuevos desafíos de datos para enfrentar juntos, particularmente Datos en la nube.

Lo que esperamos de ti.

• Que tengas fe en los Datos
• Que ayudes a tu colega
• Que seas amable con tus RRHH
• Que te diviertas en tu misión
• Y que los Codingame no te asusten (no estarás solo: te ayudaremos)

Y más seriamente:

• Que domines los fundamentos de los Datos: las tecnologías Hadoop, Spark, los pipelines de datos: la ingestión, el procesamiento, valoración y exposición de los datos
• Que quieras invertir en los nuevos paradigmas de los Datos: Cloud, DaaS, SaaS, DataOps, AutoML y que te comprometas con nosotros en esta aventura
• Que te gusta trabajar en modo ágil
• Que realices pipelines de datos eficientes
• Que mantengas esta doble competencia en Desarrollo & Infra
• Que estés cerca de las áreas de negocio, que los acompañes en la definición de sus necesidades, sus nuevos productos & servicios: en talleres, definiendo las "user stories" y probándolo a través de POC
• Y la codificación es tu pasión: trabajas en tu código, te comprometes en Open Source, haces un poco de competencia, entonces únete a nosotros

Lo que te brindaremos.

• Un gerente a tu lado en todo momento
• Una comunidad de Datos donde encontrarás tu lugar: Laboratorio de Ideación, Hackathon, Meetup ...
• Un programa de formación y certificación a través de "myDevoteam Academy" en las tecnologías actuales y futuras: Databricks, Spark, Azure Data, Elastic.io, Kafka, Snowflake, GCP BigQuery, dbt, Ansible, Docker, k8s ...
• Un fortalecimiento de tu experiencia en el campo de los Datos para convertirte en Líder Técnico en la Nube (Azure, AWS, GCP...), arquitecto de futuras plataformas de Datos, experto en DataOps al servicio de los negocios (Datos como Servicio) y de la Ciencia de Datos (AutoML), una Gerencia de Datos en la gestión de proyectos de Productos de Datos, en definitiva, muchos nuevos trabajos en perspectiva ...
• La posibilidad de invertir personalmente: ser formador interno, líder de comunidad, participar en entrevistas de candidatos, ayudar a desarrollar nuestras ofertas y por qué no gestionar tu propio equipo...

Algunos ejemplos de misiones.

• Diseño, implementación y soporte de pipelines de datos
• Despliegue de soluciones de datos en un enfoque Ágil y DevOps
• Desarrollo de API REST para exponer datos
• Soporte y experticia en tecnologías de Datos y soluciones desplegadas: Hadoop, Spark, Kafka, Elasticsearch, Snowflake, BigQuery, Azure, AWS...

Calificaciones

¿Qué habilidades serán atractivas para unirte al equipo?

• Título de ingeniero o equivalente
• Experto en el campo de los Datos: 3 a 5 años de experiencia post-título
• Competencia y práctica probada de Apache Spark
• Competencia y práctica probada de Scala
• Experiencia con Python y pySpark
• Conocimiento y experiencia con herramientas de orquestación como Apache Oozie, Apache Airflow, Databricks Jobs
• Las certificaciones serán un plus especialmente en Spark, Databricks, Azure, GCP
• Competencia en principios ETL/ELT
• Experiencia con herramientas ETL/ELT tales como Talend Data Integration, Apache Nifi, dbt son un plus
• Experiencia con Kafka y Spark Streaming también son una ventaja
• Doble competencia en desarrollo (java, scala, python) e infraestructura (linux, ansible, k8s)
• Buena comprensión de las API Rest y microservicios
• Competencia en herramientas de integración continua/entrega continua (CI/CD) (Jenkins, Gitlab) y trabajo en modo ágil
• Excelentes habilidades de relación interpersonal, te gusta trabajar en equipo
• Un enfoque orientado al servicio y comprometido en tus actividades
• Capacidad de comunicar y escuchar en todas las circunstancias y de escribir sin errores …
• ¡Y que seas fluido en inglés, por supuesto!

Información adicional

Información adicional.

• Puesto basado en Marruecos en nuestras oficinas de Rabat y/o Casablanca y únicamente en contrato indefinido
• Puesto híbrido con posibilidad de teletrabajo
• Al unirte a Devoteam, tendrás la oportunidad de interactuar con tus compañeros, compartir su experiencia y desarrollar tus habilidades uniéndote a la comunidad Data Driven que reúne a los consultores de los 18 países del Grupo

Mantengámonos en contacto:

• https://www.linkedin.com/company/devoteam
• https://twitter.com/devoteam
• https://www.facebook.com/devoteam