Архітектор системи запитів - прискорений Apache Spark

Ми шукаємо досвідченого архітектора Query Engine для покращення Apache Spark та пов'язаних з ним фреймворків на GPU. Nvidia, лідер у сфері прискореного обчислення, розробляє екосистему обробки даних нового покоління. Apache Spark - це широко використовуваний розподілений движок обробки даних для різноманітних робочих навантажень, включаючи підготовку даних, генерацію особливостей, звітність, аналітику та багато іншого. Такі робочі навантаження часто вимагають значного часу та обчислювальної потужності, що перешкоджає ефективному бізнес-операціям. У NVIDIA ми беремося за складні проблеми, які мають вплив. Ви будете співпрацювати з open-source спільнотою для сприяння обробці даних Apache Spark з використанням GPU. Прискорення робочих процесів з даними може значно забезпечити користь для науковців-дослідників даних, дозволяючи їм швидше та ефективніше досліджувати більші набори даних для досягнення своїх бізнес-цілей. Що вам доведеться робити: - Керувати зусиллями з оптимізації запитів у межах команди RAPIDS Spark. - Оцінювати кожний етап обробки запиту та визначати області для оптимізації логічного та фізичного плану. Створювати оптимізовані плани, враховуючи ресурси апаратного забезпечення CPU та GPU. - Визначати можливості для пристосованого до ресурсів виконання запитів, наприклад, пристосовуватися на основі характеристик CPU або GPU. - Визначати області, де злиття операторів може покращити продуктивність. - Вивчати практики в рамках движків обробки стовпцевих даних, щоб побачити, як вони могли б запровадити в обробку стовпцевих даних на основі GPU. - Здійснювати спілкування з open-source спільнотами, включаючи Apache Spark та RAPIDS, за технічними дискусіями та внесками. - Співпрацювати зі стратегічними партнерами Nvidia щодо реалізації рішень для прискорення обробки даних у хмарах загального користування або на місцевих кластерах. - Представляти технічні рішення на конференціях та зустрічах індустрії. Що ми хочемо бачити: - BS, MS або PhD в області інформатики, комп'ютерної техніки або відповідний досвід. - 15+ років роботи або дослідницького досвіду в розробці програмного забезпечення. - Принаймні 5 років досвіду роботи з ключовими відкритими проектами Big Data як учасником або комітентом, включаючи Apache Spark, Apache Hadoop, Apache Hive, Apache Flink, Apache Impala, Apache Drill, Apache Calcite та Substrait. - Виняткові технічні навички в побудові та впровадженні якісних розподілених систем. - Глибокі знання движків запитів до баз даних та оптимізації запитів. - Відмінні навички програмування на C++, Java та/або Scala. - Розуміння планувальників розподілених систем: Kubernetes, Hadoop YARN, Spark standalone та/або Mesos. - Здатність співпрацювати з багатофункціональними командами в різних місцях. - Сильна мотивація та міжособистісні навички. Способи виділитися з натовпу: - Внески до важливих проектів з відкритим вихідним кодом, таких як Apache Spark, Apache Hive, Apache Impala, Apache Drill, Substrait, Apache Calcite. - Професійний досвід з прискорювальними бібліотеками (CUDA, RAPIDS, UCX). - Базовий досвід з машинним навчанням / глибоким навчанням за допомогою Spark ML та XGBoost. Ми визнані одним з найбільш привабливих роботодавців у світі технологій, тому наші команди включають деяких з найбільш інноваційних та наполегливих особистостей. Якщо ви пристрасні, творчі та амбітні, ми хотіли б, щоб ви приєдналися до нашої команди. Крім конкурентоспроможних зарплат та комплексного пакета соціальних пільг, ми пропонуємо творче та автономне інженерне середовище. Завдяки нашому безпрецедентному зростанню, ми швидко розширюємо наші ексклюзивні інженерні команди. Кандидатів, які щиро зацікавлені в технологіях, заохочуємо подавати заявки. Діапазон базової зарплати становить від 268 000 USD до 414 000 USD. Ваша базова зарплата визначатиметься на основі вашого місцезнаходження, кваліфікації та заробітної плати співробітників на схожих посадах. Ви будете мати право на акції та пільги. NVIDIA приймає заявки на постійній основі.