Software Engineer - vLLM (ML)

Местоположение: Сомервилл, Массачусетс

Neural Magic, стартап серии A, расположенный в Сомервилле, Массачусетс, революционизирует ландшафт ИИ при поддержке уважаемых инвесторов, таких как Andreessen Horowitz, NEA, Pillar, VMware, Verizon Ventures, Comcast Ventures и Amdocs. Мы стремимся к открытому будущему ИИ, стремясь предоставить предприятиям передовые возможности LLM и VLLM. Как пионеры в ускорении ИИ и упрощении операций для развертываний GenAI, мы ведем разработку проекта vLLM и инновационных методов квантования и разрежения моделей.

Наша миссия - демократизировать ИИ, предоставив предприятиям по всему миру возможности открытых LLM и vLLM.

Как инженер-программист, работающий над vLLM, вы будете стимулировать инновации, сотрудничая с нашей командой для решения критических задач производительности и эффективности моделей. Ваш вклад в машинное обучение и вычислительную эффективность будет ключевым в развитии нашей программной платформы и формировании будущего развертывания и использования ИИ.

Обязанности:

• Разработка надежного кода на Python и C++, с акцентом на системы vLLM, высокоэффективные примитивы машинного обучения, анализ производительности, моделирование и численные методы.
• Проверка кода и участие в разработке лучших практик для команды.
• Тесное сотрудничество с командами машинного обучения для оптимизации производительности нейронных сетей в движке.

Требования:

• Обширный опыт написания высокоэффективного кода для GPU с глубоким пониманием аппаратного обеспечения GPU.
• Степень бакалавра, магистра или доктора философии в области компьютерных наук.
• Опыт работы с математическим программным обеспечением, в частности, линейной алгеброй или обработкой сигналов.
• Свободное владение современным C++, Python и Pytorch.
• Экспертиза в тензорных вычислениях и моделях и методах глубоких нейронных сетей.
• Способность работать самостоятельно и быстро учиться.
• Сильные коммуникативные навыки для взаимодействия с техническими и нетехническими членами команды.
• Чувство ответственности за проект и личной ответственности.
• Подлинный интерес к постоянному обучению.

Преимущества:

• Конкурентоспособная компенсация и план опционов на акции.
• Комплексное медицинское обслуживание (медицинское, стоматологическое, офтальмологическое).
• Пенсионный план (401k, IRA).
• Щедрые оплачиваемые отпуска (отпуск, больничный, праздничные дни).
• Семейный отпуск (декретный, отпуск по уходу за ребенком).
• Страхование по инвалидности.
• Возможности для профессионального развития.
• Гибкие условия работы (включая удаленные варианты).
• Ресурсы для благополучия.
• Бесплатная еда и закуски (в офисе).

Neural Magic является работодателем, предоставляющим равные возможности, и прилагает усилия для создания разнообразной и инклюзивной рабочей среды. Все кандидаты будут рассматриваться для трудоустройства без учета расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности, национального происхождения, статуса ветерана или инвалидности.