Senior Big Data Application Engineer (Remote)

Краткое описание работы:

Группа Global Technology and Operations (GTO) компании IQVIA расширяет свои обязанности. Чтобы эффективно справиться с увеличившимся объемом работ, мы ищем Senior Big Data Application Engineer для присоединения к нашей команде.

Присоединяйтесь к нашему Data Office в качестве Senior Big Data Application Engineer, где вы будете играть ключевую роль в оптимизации наших операций Big Data Factory. Наша динамичная команда управляет более чем 40 петабайтами данных в тысячах рабочих нагрузок на платформах Hadoop CDP, Snowflake Data Cloud и Databricks. Ваша роль будет решающей в проведении оптимизаций с минимальным надзором, обеспечивая максимальную эффективность и экономичность наших процессов обработки больших данных.

• Разработка продвинутых оптимизаций на основе Spark для обеспечения оптимальной производительности и экономичности инфраструктуры наших локальных и облачных платформ данных.
• Использование глубоких знаний в области Scala, Python, SQL и TEZ для реализации значительной экономии затрат и повышения производительности.
• Руководство инициативами по автоматизации передачи данных и внедрению стратегий повторного использования и архивации данных, значительно снижая затраты на хранение и обработку.
• Разработка и применение лучших практик и стандартов для разработки и развертывания приложений Spark, обеспечивая их консистентность и надежность в рамках нашей экосистемы больших данных.
• Проведение тщательного анализа производительности приложений Spark, оптимизация кода и запросов для достижения максимальной эффективности.
• Оптимизация использования наших платформ BI путем адаптации моделей данных и дашбордов для обработки и анализа больших данных.
• Создание и представление учебных материалов по техникам оптимизации Spark и лучшим практикам для ресурсов нашего бизнес-юнита.

• Степень бакалавра в области компьютерных наук, инженерии или смежной области; предпочтительно наличие степени магистра; или эквивалентный опыт работы.
• Не менее 8 лет глубокого опыта в области инженерии данных с упором на разработку приложений Spark и SQL.
• Продемонстрированная экспертиза в технологиях больших данных, включая Apache Spark, Scala, Python, SQL и TEZ.
• Доказанный опыт достижения значительной экономии затрат и повышения производительности в среде больших данных.
• Опыт оптимизации кода Spark, запросов Impala и стратегии разбиения Hive для масштабируемости, надежности и повышения производительности.
• Профессиональное владение оптимизациями производительности Hive, такими как использование распределенного кэша для небольших наборов данных, разбиение данных, блокировка в Hive и объединение Map Side.
• Опыт работы с Snowflake, Databricks, Oracle и Cloudera для управления и оптимизации данных.
• Исключительные аналитические и проблемно-решающие способности, возможность проводить детальный технический анализ для выявления возможностей оптимизации.
• Отличные коммуникативные навыки, способность руководить кросс-функциональными командами и объяснять сложные технические концепции не техническим заинтересованным сторонам.

IQVIA — ведущий глобальный поставщик аналитики высокой сложности, технологических решений и услуг клинических исследований для индустрии наук о жизни. Мы верим в расширение границ человеческой науки и науки о данных для достижения наибольшего возможного влияния — чтобы помочь нашим клиентам сделать мир здоровее. Узнать больше

Мы привержены предоставлению равных возможностей трудоустройства для всех, включая ветеранов и кандидатов с ограниченными возможностями. Прочитать нашу политику о равных возможностях трудоустройства

Для возможности работы и предоставления определенных услуг клиентам и партнерам, от IQVIA и ее сотрудников требуется соответствовать определенным требованиям по статусу вакцинации от COVID-19. Узнать больше