Applied Deep Learning Research Scientist, Numerics and Systems Performance

В NVIDIA мы на переднем крае технологий, разрабатывая компьютеры с ИИ, которые трансформируют отрасли. Мы активно ищем научных сотрудников по прикладному глубокому обучению для продвижения в области глубокого обучения (DL) через инновационные исследования в области численных методов и производительности систем с использованием продвинутых GPU-систем. Эта роль включает в себя передовые исследования, направленные на ускорение обучения и вывода DL, с реальным влиянием через интеграцию в нашу аппаратную (HW) и программную (SW) продукцию.

Численные методы: Вы будете заниматься исследованиями низкобитовых представлений чисел и их влияния на точность вывода и обучения нейронных сетей. Это включает адаптацию к требованиям текущих нейронных сетей последнего поколения и совместное проектирование будущих архитектур и оптимизаторов.

Производительность системы: Исследуйте различные стратегии параллелизации для крупных нейронных сетей, как на этапе обучения, так и на этапе вывода. Изучите шаблоны коммуникации и их узкие места в производительности в обширных GPU-системах, сосредоточившись на оптимизации перекрытия коммуникации-вычислений.

Сильный кандидат будет иметь:

• Степень магистра или доктора наук в области информатики, компьютерной инженерии или смежных областей, или эквивалентный опыт в соответствующих областях.
• По крайней мере 3 года опыта работы в отрасли с глубоким пониманием архитектур нейронных сетей и оптимизаторов.
• Владение Python, C++ или, в идеале, обоими.
• Для тех, кто сосредоточен на численных методах: опыт обучения нейронных сетей, особенно Больших Языковых Моделей (LLMs) и мульти-модальных моделей, а также квантование нейронных сетей и численный анализ.
• Для тех, кто сосредоточен на производительности систем: опыт в области параллельного программирования, анализа производительности и понимание коллективных коммуникаций. Знание вычислений на GPU и CUDA является преимуществом, но не обязательно.

NVIDIA считается одним из наиболее желанных работодателей в технологическом секторе. Мы предлагаем конкурентоспособные зарплаты, с потенциальным доходом от $160,000 до $345,000 в год, в зависимости от вашего местоположения, опыта и с