Software Engineer - vLLM (ML)

Lieu : Somerville, Massachusetts

Neural Magic, une startup de Série A située à Somerville, MA, révolutionne le paysage de l'IA avec le soutien d'investisseurs réputés tels qu'Andreessen Horowitz, NEA, Pillar, VMware, Verizon Ventures, Comcast Ventures et Amdocs. Nous nous consacrons à un avenir de l'IA open-source, en nous efforçant de permettre aux entreprises de bénéficier des capacités avancées des LLM et VLLM. En tant que pionniers de l'accélération de l'IA et de la simplicité opérationnelle pour les déploiements GenAI, nous sommes à la tête du développement du projet vLLM et des techniques novatrices de quantification et de sparsification des modèles.

Notre mission est de démocratiser l'IA en apportant la puissance des LLM et vLLM open-source aux entreprises du monde entier.

En tant que Ingénieur Logiciel spécialisé en vLLM, vous stimulerez l'innovation en collaborant avec notre équipe pour relever les défis critiques de performance et d'efficacité des modèles. Vos contributions en apprentissage automatique et en calcul haute performance seront essentielles pour faire avancer notre plateforme logicielle et façonner l'avenir du déploiement et de l'utilisation de l'IA.

• Développer un code robuste en Python et C++, en mettant l'accent sur les systèmes vLLM, les primitives d'apprentissage automatique haute performance, l'analyse de performance, la modélisation et les méthodes numériques.
• Revoir le code et contribuer au développement des meilleures pratiques pour l'équipe.
• Travailler en étroite collaboration avec les équipes d'apprentissage automatique pour optimiser les performances des réseaux neuraux dans le moteur.

• Expérience approfondie en écriture de code haute performance pour GPU, avec une compréhension profonde du matériel GPU.
• BS, MS ou PhD en informatique.
• Expérience avec les logiciels mathématiques, en particulier l'algèbre linéaire ou le traitement du signal.
• Maîtrise du C++ moderne, Python et Pytorch.
• Expertise en calcul des tenseurs et en modèles et techniques des réseaux neuraux profonds.
• Capacité à travailler de manière indépendante et à apprendre rapidement.
• Compétences en communication pour interagir avec des membres de l'équipe techniques et non techniques.
• Un fort sens de la responsabilité personnelle et de la propriété des projets.
• Un véritable intérêt pour l'apprentissage continu.

• Rémunération compétitive et plan d'options d'achat d'actions.
• Couverture santé complète (médicale, dentaire, vision).
• Plan de retraite (401k, IRA).
• Congés payés généreux (vacances, congés maladie, jours fériés).
• Congé familial (maternité, paternité).
• Couverture invalidité.
• Opportunités de développement professionnel.
• Aménagements de travail flexibles (options de télétravail).
• Ressources de bien-être.
• Repas et collations gratuits (au bureau).

Neural Magic est un employeur garantissant l'égalité des chances, engagé à favoriser un environnement de travail diversifié et inclusif. Tous les candidats seront considérés pour un emploi sans tenir compte de la race, de la couleur, de la religion, du sexe, de l'orientation sexuelle, de l'identité de genre, de l'origine nationale, du statut de vétéran ou du statut de handicap.