Software Engineer - vLLM (ML)

Місцезнаходження: Самервілл, Массачусетс

Neural Magic, стартап серії A, розташований в Самервіллі, MA, революціонізує сферу ШІ за підтримки шанованих інвесторів, таких як Andreessen Horowitz, NEA, Pillar, VMware, Verizon Ventures, Comcast Ventures та Amdocs. Ми присвячені майбутньому ШІ з відкритим вихідним кодом, прагнучи наділити підприємства передовими можливостями LLM та VLLM. Як новатори в прискоренні ШІ та простоті експлуатації для розгортань GenAI, ми очолюємо розробку проекту vLLM та інноваційних методів квантизації та розрідження моделей.

Наша місія — демократизувати ШІ, надаючи потужність LLM та vLLM з відкритим вихідним кодом підприємствам по всьому світу.

Як програмний інженер, орієнтований на vLLM, ви будете стимулювати інновації, співпрацюючи з нашою командою для вирішення критичних завдань щодо продуктивності та ефективності моделей. Ваш внесок у машинне навчання та високопродуктивні обчислення буде ключовим у розвитку нашої програмної платформи та формуванні майбутнього розгортання та використання ШІ.

• Розробка надійного коду на Python та C++, зосереджуючись на системах vLLM, високопродуктивних машинних навчальних примітивах, аналізі продуктивності, моделюванні та числових методах.
• Перегляд коду та внесок у розвиток найкращих практик для команди.
• Тісна співпраця з командами машинного навчання для оптимізації продуктивності нейронних мереж у двигуні.

• Широкий досвід написання високопродуктивного коду для GPU, глибоке розуміння апаратного забезпечення GPU.
• Бакалавр, магістр або доктор наук у галузі комп'ютерних наук.
• Досвід роботи з математичним програмним забезпеченням, особливо лінійною алгеброю або обробкою сигналів.
• Впевнене володіння сучасним C++, Python та Pytorch.
• Експертиза у тензорних обчисленнях і моделях та методах глибоких нейронних мереж.
• Здатність працювати самостійно та швидко вчитися.
• Вміння спілкуватися з технічними та нетехнічними членами команди.
• Сильне відчуття відповідальності за проекти та чіткість у виконанні обов'язків.
• Справжній інтерес до безперервного навчання.

• Конкурентна компенсація та план опціонів на акції.
• Всеосяжне медичне страхування (медичне, стоматологічне, зору).
• Пенсійний план (401k, IRA).
• Щедрі оплачувані відпустки (відпустка, лікарняні дні, свята).
• Сімейна відпустка (декретна, для батька).
• Покриття на випадок інвалідності.
• Можливості для професійного розвитку.
• Гнучкі умови праці (варіанти дистанційної роботи).
• Ресурси для здоров'я та добробуту.
• Безкоштовна їжа та перекуси (в офісі).

Neural Magic є роботодавцем з рівними можлив