Старший инженер-программист системного программного обеспечения - Производительность - Ускоренный Apache Spark

Мы ищем опытных инженеров-разработчиков системного программного обеспечения, специализирующихся на Apache Spark, для присоединения к нашей команде и помощи в руководстве инновациями для ускоренной обработки данных на GPU. Nvidia, ведущая компания в сфере ускоренных вычислений, занимается созданием следующего поколения экосистем обработки данных. Дата-сайентисты тратят значительное количество времени на изучение данных и итерацию машинных обучающих экспериментов (ML). Каждый час, требуемый для отбора наборов данных, выделения характеристик и подгонки алгоритмов ML, затрудняет эффективный бизнес-процесс. Nvidia убеждена, что рабочие процессы науки о данных могут значительно выиграть за счет ускорения, позволяющего дата-сайентистам изучать значительно больше актуальных наборов данных и более быстро и эффективно продвигаться к своим бизнес-целям. В NVIDIA мы с энтузиазмом работаем над сложными задачами, которые имеют реальное влияние. Вам потребуется предыдущий опыт работы с приложениями Apache Spark, реализация больших данных для разнообразных клиентов, навыки программирования, а также знакомство с открытыми для обработки больших данных. Вы будете работать в команде инженеров, чтобы ускорить Apache Spark с помощью GPU, используя CUDA и библиотеки с открытым исходным кодом. Это критически важное вложение Nvidia. Код принимается несколькими облачными провайдерами услуг и дистрибутивами Apache Spark. Поскольку Nvidia лидирует в предоставлении будущего данных с платформой CPU-GPU суперчипа, ускорение обработки данных станет необходимостью для всех предприятий. Что вам предстоит делать: - Масштабировать ускорение Apache Spark для высококлассных GPU и с новой платформой суперчипа Grace Hopper. - Сотрудничать с избранными клиентами и партнерами, чтобы ускорить приложения Apache Spark с помощью GPU в корпоративных и облачных средах. - Тестировать и оптимизировать нагрузки Apache Spark на GPU для ускоренной производительности. - Создавать инструменты для анализа рабочих нагрузок обработки данных для выявления возможностей ускорения и экономии затрат. - Помощь в определении референс-архитектуры для облачных вычислений следующего поколения. - Работа с крупнейшими облачными провайдерами услуг и поставщиками Spark по всему миру, чтобы обеспечить ускоренные вычисления для задач обработки данных. Что нам нужно видеть: - 8+ лет опыта в разработке программного обеспечения, в основном в области обработки данных. - 3+ лет практического опыта разработки и проектирования приложений Apache Spark. - Бакалавриат, магистратура или докторат в области информатики или смежной области. - Знание современной открытой экосистемы данных (Apache Hadoop, Flink, Presto, Hive, Kafka, TensorFlow, PyTorch и т.д.) - Глубокое понимание оптимизации производительности в низкоуровневых средах. - Опыт написания высокопроизводительного распределенного программного обеспечения в больших масштабах. - Опыт работы на публичных и частных облачных платформах. - Предыдущий опыт поддержки корпоративных клиентов. - Знание SQL, Python и Scala/Java. - Отличные коммуникативные, презентационные и технические навыки объяснения. Как выделиться среди других: - Знание RAPIDS и UCX. - Опыт оптимизации производительности в CSP для биг-данных. - Понимание и экспертиза в конфигурации оборудования, связанной с производительностью и стоимостью. - Опыт работы и разработки на GPU. Мы широко признаны одним из наиболее привлекательных рабочих мест в мире технологий, и в результате некоторые из самых инновационных и трудолюбивых людей в мире работают на нас. Если вы страстны, креативны и целеустремленны, мы были бы рады видеть вас в команде. Мы предлагаем конкурентоспособные зарплаты и всеобъемлющий пакет социальных льгот, что делает нас одним из наиболее привлекательных работодателей в мире технологий. У нас работают самые креативные и трудолюбивые люди в мире, и благодаря исключительному росту, наши инженерные команды быстро расширяются. Если вы креативный и автономный инженер с большим интересом к технологиям, мы хотим услышать вас. Диапазон базовой зарплаты составляет от 216 000 до 333 500 долларов США. Ваша базовая зарплата будет определена на основе вашего местоположения, опыта и оплаты сотрудников на аналогичных должностях. В дополнение к вашей зарплате, вы также будете иметь право на акции и льготы. NVIDIA принимает заявки на постоянной основе.