Архитектор системы запросов - Ускоренный Apache Spark

Мы ищем опытного архитектора системы запросов для улучшения Apache Spark и связанных с ним фреймворков для работы на GPU. Nvidia, лидер в области ускоренных вычислений, занимается разработкой экосистемы обработки данных следующего поколения. Apache Spark - это широко используемый движок распределенной обработки данных для различных нагрузок, включая подготовку данных, создание признаков, отчетность, аналитику и т.д. Такие нагрузки часто требуют значительного времени и вычислительной мощности, что затрудняет эффективное ведение бизнеса. В компании NVIDIA мы решаем сложные задачи, которые имеют значение. Вы будете сотрудничать с сообществом открытого кода для облегчения обработки данных Apache Spark на GPU. Ускорение рабочих процессов с данными может значительно помочь специалистам по данным, позволяя им изучать большие наборы данных быстрее и эффективнее, чтобы достичь своих бизнес-целей. Что вам предстоит делать: - Стать лидером в оптимизации запросов в команде RAPIDS Spark. - Оценивать каждую стадию обработки запроса, определять области для оптимизации логического и физического плана. Создавать оптимизированные планы с учетом ресурсов ЦП и GPU. - Определять возможности адаптивного выполнения запросов, учитывающих ресурсы, например, адаптация в зависимости от характеристик ЦП или GPU. - Определять области, где операторское слияние может улучшить производительность. - Изучать практику обработки данных в столбцовых движках, чтобы увидеть, как она может быть применима к обработке данных на GPU в формате столбцов. - Вести активное сотрудничество с сообществами открытого исходного кода, включая Apache Spark и RAPIDS, проводить технические обсуждения и вносить свой вклад. - Сотрудничать со стратегическими партнерами Nvidia по разработке решений для ускоренной обработки данных в облаке или на портальных кластерах. - Презентовать технические решения на отраслевых конференциях и встречах. Что мы хотели бы видеть: - Бакалавр, магистр или доктор наук в области компьютерных наук, компьютерной инженерии или эквивалентный опыт. - Более 15 лет работы или научных исследований в области разработки программного обеспечения независимо от размера проекта. - По меньшей мере 5 лет опыта работы с ключевыми проектами открытого исходного кода для работы с большими данными в качестве участника или коммиттера, включая Apache Spark, Apache Hadoop, Apache Hive, Apache Flink, Apache Impala, Apache Drill, Apache Calcite и Substrait. - Выдающиеся технические навыки в создании и внедрении распределенных систем высокого качества. - Глубокие знания движков запросов баз данных и оптимизации запросов. - Отличные навыки программирования на С++, Java и/или Scala. - Понимание планировщиков работ для распределенных систем: Kubernetes, Hadoop YARN, Spark standalone или Mesos. - Умение сотрудничать с многопрофильными командами в разных местах. - Сильная мотивация и межличностные навыки. Как выделиться из толпы: - Вклад в крупные проекты с открытым исходным кодом, такие как Apache Spark, Apache Hive, Apache Impala, Apache Drill, Substrait, Apache Calcite. - Опыт работы с библиотеками ускорения (CUDA, RAPIDS, UCX). - Базовый опыт работы с машинным обучением/глубоким обучением с использованием Spark ML и XGBoost. Мы признаны одним из самых привлекательных работодателей в техническом мире и поэтому гордимся наличием самых инновационных и упорных специалистов в наших командах. Если вы страстны, креативны и целеустремленны, мы будем рады, если вы присоединитесь к нашей команде. Кроме конкурентоспособной заработной платы и полного пакета социальных льгот, мы предлагаем творческую и автономную инженерную среду. Из-за безпрецедентного роста, мы быстро расширяем наши уникальные инженерные команды. Приглашаем кандидатов, вдохновленных искренней любовью к технологиям, подать заявку. Диапазон базовой заработной платы составляет от 268,000 USD до 414,000 USD. Ваша базовая заработная плата будет определена на основании вашего местонахождения, экспертизы и заработной платы сотрудников на аналогичных должностях. Вы будете иметь право на долю в капитале и другие льготы. NVIDIA принимает заявки на постоянной основе.