Scientifique de recherche chez GenAI, Équipe après-formation

Description de l'entreprise

Fondé à la fin de 2020 par un petit groupe de chercheurs en apprentissage automatique, MosaicML permet aux entreprises de créer des modèles d'IA de pointe à partir de zéro sur leurs propres données. D'un point de vue commercial, MosaicML est convaincu que les modèles d'IA d'une entreprise ont autant de valeur que n'importe quel autre cœur de propriété intellectuelle et que des modèles d'IA de haute qualité devraient être disponibles pour tous. D'un point de vue scientifique, MosaicML vise à réduire le coût de formation des modèles de pointe et à partager nos connaissances sur la façon de le faire avec le monde - pour permettre à tout le monde d'innover et de créer ses propres modèles.

Maintenant partie de Databricks depuis juillet 2023 en tant qu'équipe GenAI, nous sommes passionnés par la capacité de nos clients à résoudre les problèmes les plus difficiles du monde en construisant et en exploitant la meilleure plateforme de données et d'IA au monde. Nous saisissons chaque occasion de résoudre les défis techniques, dans le but d'offrir à nos clients les meilleures capacités de données et d'IA.

Description du poste

En tant que chercheur scientifique dans l'équipe GenAI chez Databricks, vous serez responsable de garder un œil sur les derniers développements en matière d'apprentissage profond et de faire progresser la frontière scientifique en créant de nouvelles techniques qui dépassent l'état de l'art. Vous travaillerez ensemble au sein d'une équipe collaborative de chercheurs aux horizons et à la formation technique divers. Et surtout, vous adorerez nos clients : notre objectif est de garantir la réussite de nos clients lorsqu'ils entraînent de grands modèles, et nous intégrons notre expertise scientifique dans nos produits pour y parvenir.

Spécifiquement pour le fine-tuning, RLHF et après l'entraînement, vous vous baserez sur les modèles que nous avons pré-entraînés pour leur permettre de suivre des instructions, affinant leurs comportements pour mieux répondre aux besoins de nos utilisateurs et les étendant à de nouvelles capacités comme des contextes plus longs, des résolutions plus élevées, l'utilisation d'outils, etc. Vous étudierez les dernières techniques dans ces domaines, les améliorerez pour répondre à nos besoins et les généraliserez pour répondre aux besoins de nos clients.

Vous pourriez être un bon candidat si vous…

• Êtes à l'aise pour travailler avec des LLMs à grande échelle dans les 10s à 100s de milliards de paramètres.
• Avez de solides compétences en ingénierie logicielle ML et RL et en recherche scientifique.
• Avez produit des recherches novatrices liées au fine-tuning des LLMs ou à l'amélioration des LLMs pré-entraînés.
• Avez une expertise spécialisée dans des sujets tels que le fine-tuning, le RLHF, l'utilisation des outils LLM, etc.
• Êtes passionné par le fait de mettre votre travail entre les mains de vrais utilisateurs et, plus largement, de démocratiser l'accès à la technologie de l'IA moderne.
• Êtes motivé par la recherche sur les LLM qui - contrairement à la tendance générale dans le domaine - sera divulguée au public.
• Avez de solides compétences en communication et un désir de travailler au sein d'une petite équipe à rythme rapide.

Un doctorat n'est PAS requis pour ce poste. Nous sommes ouverts à l'embauche de candidats ayant une licence ou une maîtrise et aux nouveaux diplômés. Nous sommes ouverts aux candidats qui occupent actuellement des postes d'"ingénieur de recherche" dans d'autres entreprises.

Vos responsabilités

• Se tenir au courant de la littérature de recherche et penser au-delà de l'état de l'art pour répondre aux besoins de nos utilisateurs.
• Élaborer et mettre en œuvre des méthodes qui enrichissent et améliorent les capacités, la fiabilité et la sécurité des modèles.
• Évaluer rigoureusement ces méthodes, communiquer les résultats de vos découvertes et mettre en production ceux qui sont utiles.