Senior Big Data Application Engineer (Remote)

Descripción del Trabajo:

El grupo de Tecnología y Operaciones Globales (GTO) de IQVIA está ampliando sus responsabilidades. Para navegar de manera efectiva en este alcance aumentado, estamos buscando un Ingeniero Senior de Aplicaciones de Big Data para unirse a nuestro equipo.

Únase a nuestra Oficina de Datos como Ingeniero Senior de Aplicaciones de Big Data, donde desempeñará un papel clave en la optimización de las operaciones de nuestra Fábrica de Big Data. Nuestro equipo de ritmo rápido gestiona más de 40 petabytes de datos en miles de cargas de trabajo en plataformas Hadoop CDP, Snowflake Data Cloud y Databricks, tanto públicas como privadas. Su rol será crucial para impulsar optimizaciones con mínima supervisión, asegurando que nuestros procesos de big data sean lo más eficientes y rentables posible.

Responsabilidades Clave

• Desarrollar optimizaciones avanzadas basadas en Spark para asegurar un rendimiento óptimo y eficiencia en costos de nuestra infraestructura de plataforma de datos tanto en las instalaciones como en la nube.
• Utilizar profunda experiencia en Scala, Python, SQL y TEZ para impulsar ahorros significativos en costos y mejoras de rendimiento.
• Dirigir iniciativas para automatizar transferencias de datos e implementar estrategias de reutilización y archivado de datos, reduciendo significativamente los costos de almacenamiento y procesamiento.
• Desarrollar y hacer cumplir mejores prácticas y estándares para el desarrollo y despliegue de aplicaciones Spark, garantizando consistencia y fiabilidad en nuestro ecosistema de big data.
• Realizar análisis exhaustivos del rendimiento de las aplicaciones Spark, optimizando código y consultas para lograr la máxima eficiencia.
• Optimizar el uso de nuestras plataformas de BI adaptando modelos de datos y dashboards para el procesamiento y análisis de big data.
• Crear y entregar materiales de formación centrados en técnicas de optimización de Spark y mejores prácticas para los recursos de nuestra unidad de negocio.

Cualificaciones

• Licenciatura en Ciencias de la Computación, Ingeniería o un campo relacionado; se prefiere maestría; o experiencia laboral equivalente.
• Al menos 8 años de experiencia profunda en ingeniería de datos con un enfoque en el desarrollo de aplicaciones Spark y SQL.
• Demostrada experiencia en tecnologías de big data, incluyendo Apache Spark, Scala, Python, SQL y TEZ.
• Historial comprobado de lograr ahorros significativos en costos y mejoras de rendimiento en un entorno de big data.
• Experiencia en la optimización de código Spark, consultas de Impala y estrategia de particionamiento de Hive para escalabilidad, fiabilidad y mejoras de rendimiento.
• Dominio en optimizaciones de rendimiento de Hive, como el uso de cache distribuido para conjuntos de datos pequeños, particiones de datos, bucketing en Hive y uniones en el lado del mapa.
• Experiencia con Snowflake, Databricks, Oracle y Cloudera para gestión y optimización de datos.
• Excepcionales habilidades analíticas y de resolución de problemas, capaces de realizar análisis técnicos detallados para descubrir oportunidades de optimización.
• Excelentes habilidades de comunicación, con la capacidad de liderar equipos multifuncionales y articular conceptos técnicos complejos a partes interesadas no técnicas.

IQVIA es un proveedor global líder de análisis avanzados, soluciones tecnológicas y servicios de investigación clínica para la industria de las ciencias de la vida. Creemos en empujar los límites de la ciencia humana y la ciencia de datos para lograr el mayor impacto posible: ayudar a nuestros clientes a crear un mundo más saludable. Aprenda más

Estamos comprometidos a proporcionar oportunidades de empleo iguales para todos, incluyendo veteranos y candidatos con discapacidades. Lea nuestra política de Igualdad de Oportunidades de Empleo

La capacidad de IQVIA para operar y proporcionar ciertos servicios a clientes y socios requiere que IQVIA y sus empleados cumplan con requisitos específicos con respecto al estado de vacunación contra el COVID-19. Aprenda más

El rango de pago