Ingeniero de Datos Senior

Ingeniero de Datos Senior

El Centro de Excelencia en Activación Digital de IQVIA está contratando a un Ingeniero de Datos Senior para trabajar de manera remota en cualquier lugar de Canadá. Nuestra visión está abriendo el camino para un compromiso con el cliente sin precedentes, una narración omnicanal de próxima generación, un conjunto integrado de mediciones y optimización de campañas en tiempo real, todo alimentado a través de un sistema operativo de extremo a extremo independiente de la plataforma y los datos para el marketing y análisis inteligente de atención médica. Al simplificar flujos de trabajo que solían tomar días en segundos, e integrar funcionalidades que anteriormente requerían múltiples proveedores en uno, permitimos a las marcas concentrar su tiempo y recursos en producir resultados reales en el mundo.

Como Ingeniero de Datos Senior en el Centro de Excelencia de Habilitación Digital, desempeñará un papel crucial en el diseño, desarrollo y mantenimiento de la infraestructura y sistemas requeridos para un procesamiento, almacenamiento y análisis de datos eficientes y efectivos para nuestros productos AIM, Correo Electrónico y HCN. Trabajando como parte de un equipo scrum interfuncional, colaborará estrechamente con otros ingenieros de software, científicos de datos, probadores de software y propietarios de productos para garantizar el flujo suave de datos en toda la organización, permitiendo la toma de decisiones e informes basados en datos. Este rol requiere un sólido entendimiento de la arquitectura de datos y habilidades de programación en Spark y Scala, junto con una pasión por trabajar con conjuntos de datos grandes y complejos.

Responsabilidades principales:

• Desarrollo Spark: Diseñe, construya y mantenga tuberías de datos escalables y robustas utilizando Apache Spark.
• Desarrollo de tuberías de datos: Diseñar, implementar y optimizar tuberías de datos para extraer, transformar y cargar datos (ETL) de varias fuentes a sistemas de almacenamiento y procesamiento de datos. Aproveche las capacidades de procesamiento de datos de Spark para realizar transformaciones y agregaciones complejas en grandes conjuntos de datos.
• Gestión del almacén de datos: Desarrollar y administrar soluciones de almacenamiento de datos utilizando Spark y Scala para garantizar la disponibilidad, integridad y seguridad de los datos. Diseñar e implementar modelos de datos, esquemas y estrategias de indexación para respaldar la recuperación y el análisis eficientes de datos.
• Integración de datos: Colabore con equipos interfuncionales para integrar y consolidar datos de múltiples fuentes, incluyendo bases de datos, APIs y sistemas externos. Asegure una integración de datos sin problemas en diferentes plataformas y aplicaciones utilizando los conectores e integraciones de Spark.
• Calidad y Gobernanza de Datos: Implementar comprobaciones de calidad de datos y procesos de validación usando Spark y Scala para garantizar la exactitud, consistencia y fiabilidad de los datos. Establecer y hacer cumplir los estándares de gobierno de datos, los protocolos de seguridad de datos y las regulaciones de privacidad de datos.
• Optimización del rendimiento: Identificar y resolver problemas de rendimiento en las aplicaciones de Spark, las tuberías de datos y las bases de datos. Optimice las tareas de Spark ajustando las configuraciones, aprovechando los mecanismos de almacenamiento en caché y aplicando técnicas de optimización.
• Colaboración y comunicación: Colabore con equipos interfuncionales, incluyendo científicos de datos e ingenieros de software, para entender sus necesidades de datos y proporcionar soluciones adecuadas de Spark y Scala. Comunicar de manera clara los conceptos y soluciones técnicas complejas a partes interesadas técnicas y no técnicas.
• Tecnologías y Tendencias Emergentes: Manténgase al día con los últimos avances en Spark, Scala, tecnologías de Big Data, plataformas en la nube y herramientas de gestión de datos. Evaluar y recomendar nuevas tecnologías y enfoques que puedan mejorar las capacidades de ingeniería de datos.

Calificaciones y habilidades:

• Licenciatura o Maestría en Ciencias de la Computación, Sistemas de Información o un campo relacionado o experiencia equivalente
• Fuertes habilidades de programación en Scala y experiencia con Apache Spark.
• Competencia en SQL y experiencia trabajando con bases de datos relacionales
• Familiaridad con tecnologías de Big Data como Hadoop, Kafka o Hive.
• Experiencia en modelado de datos, diseño de esquemas y procesos ETL.
• Comprensión de los conceptos de almacenamiento de datos y experiencia con soluciones de almacén de datos
• Conocimiento de plataformas en la nube como AWS y experiencia con servicios de datos basados en la nube (por ejemplo, S3, EMR, Glue).
• Fuertes habilidades de resolución de problemas y capacidad para analizar y resolver problemas complejos relacionados con los datos.
• Excelentes habilidades de comunicación y colaboración, con la capacidad de trabajar de manera efectiva en un entorno de equipo interfuncional.
• Atención al detalle y un fuerte compromiso con la calidad, seguridad y gobernanza de los datos.

Ingeniero de Datos Senior

IQVIA, líder mundial en la prestación de servicios en investigación clínica, tecnología avanzada y análisis a la industria de ciencias de la vida. Creemos en ampliar los límites de la ciencia humana y la ciencia de los datos para tener el mayor impacto posible: ayudar a nuestros clientes a crear un mundo más saludable. Obtén más información en https://jobs.iqvia.com