Job expired!
Descripción de la empresa
Somos un equipo multinacional de individuos que creemos que, con los conocimientos y enfoques correctos, la tecnología es la respuesta a los desafíos que las empresas enfrentan hoy en día. Desde 2016, hemos estado llevando estos conocimientos y enfoques a nuestros clientes, ayudándoles a traducir la tecnología en su éxito.
Con raíces suizas y nuestro propio equipo de desarrollo en Lima y en toda la región, ofrecemos lo mejor de ambas áreas culturales: el talento y la pasión de los profesionales latinoamericanos combinados con las habilidades y mentalidad organizativas suizas.
Descripción del trabajo
Bertoni Solutions está buscando un Ingeniero de Datos para trabajar 100% en remoto para un cliente estadounidense.
En este rol, serás responsable de desarrollar soluciones de datos dentro del entorno en la nube de Azure, colaborando sin problemas con equipos diversos en toda la organización para ejecutar la estrategia de datos, diseñar una arquitectura robusta y establecer una gobernanza eficaz. Debes poseer una amplia experiencia en Spark, Python y tener familiaridad con Scala, junto con un amplio conocimiento de los conceptos de Azure Data Factory (ADF); además, debes demostrar competencia en una variedad de tecnologías de acceso a datos, mostrando habilidades en SQL y PySpark-SQL.
Calificaciones
Este puesto solo está disponible para solicitantes que vivan o estén ubicados en América Latina o en América del Norte/Central.
- Mínimo de 6 años de experiencia.
- Amplia experiencia con Scala
- Experiencia práctica utilizando ADF para conectar a diferentes fuentes (RDBMS, Salesforce, archivos planos) y llevar datos a ADLS.
- Experiencia práctica manejando cargas incrementales y enfoques de carga completa.
- Experiencia práctica manejando datos semi-estructurados como JSON.
- Experiencia práctica utilizando Databricks con conceptos de delta lake.
- Fuertes habilidades en SQL con (Slow Change Types [SCD], Joins, Common Table Expressions [CTEs], Hierarchies, etc.)
- Experiencia práctica con PySpark.
- Experiencia práctica utilizando cuadernos Databricks y técnicas de optimización.
- Experiencia con Servicios en la nube de Azure para Ingeniería de Datos.
- Comprensión de las Capas de Datos: Modelos Crudor, Refined and Curated.
- Experiencia con Databricks: programación y automatización de cuadernos usando ADF.
- Optimización del rendimiento del código Spark o PySpark, incluyendo técnicas como partición y almacenamiento de datos en caché.
- Experiencia práctica en la creación de una función definida por el usuario (UDF) en Databricks y cómo se puede aplicar a un DataFrame.
- Gestión y operación de DataFrames para actividades de Ingeniería de Datos.
- Proficiencia avanzada en inglés.
- Deseable: R
Información Adicional
- Excelentes habilidades de comunicación.
- Excelentes habilidades para resolver problemas.
- Habilidades de pensamiento crítico.
- Atención al detalle.
- Toma de decisiones.
- Trabajo en equipo.
- Adaptabilidad.
