Científico de Investigación de GenAI, Equipo de Evaluación de Modelos y Seguridad

Descripción de la Empresa

Fundada a finales de 2020 por un pequeño grupo de investigadores en aprendizaje automático, MosaicML permite a las empresas crear modelos de IA de última generación desde cero con sus propios datos. Desde una perspectiva empresarial, MosaicML está comprometida con la creencia de que los modelos de IA de una empresa son tan valiosos como cualquier otra propiedad intelectual central, y que los modelos de IA de alta calidad deberían estar disponibles para todos. Desde una perspectiva científica, MosaicML se compromete a reducir el coste de formación de modelos de última generación - y compartir nuestros conocimientos sobre cómo hacerlo con el mundo - para permitir a todos innovar y crear sus propios modelos.

Ahora parte de Databricks desde julio de 2023 como el equipo GenAI, estamos apasionados por permitir a nuestros clientes resolver los problemas más difíciles del mundo construyendo y ejecutando la mejor plataforma de datos e IA del mundo. Saltamos ante cada oportunidad de resolver desafíos técnicos, esforzándonos por empoderar a nuestros clientes con las mejores capacidades de datos e IA.

Descripción del Trabajo

Como Científico de Investigación en el equipo GenAI en Databricks, serás responsable de mantenerte al día con los últimos avances en aprendizaje profundo y avanzar en la frontera científica creando nuevas técnicas que van más allá del estado del arte. Trabajarás en un equipo colaborativo de investigadores con antecedentes y formación técnica diversos. Y lo más importante, te encantarán nuestros clientes: nuestro objetivo es hacer que nuestros clientes tengan éxito cuando entrenen modelos grandes, y codificamos nuestra experiencia científica en nuestros productos para hacerlo posible.

Específicamente para la evaluación de modelos, trabajarás en el diseño de suites de evaluación motivadas científicamente de alto rendimiento para permitir a nuestros científicos de investigación y a nuestros clientes tomar decisiones críticas cuando entrenen y desplieguen modelos generativos de última generación para texto, imágenes y otros dominios. Tendrás la oportunidad de impulsar el estado del arte en la evaluación del uso de herramientas, la generación de código, RAG, la evaluación de seguridad y toxicidad, y la evaluación basada en modelos. También ayudarás a construir y diseñar sistemas para empoderar a nuestros clientes para construir la próxima generación de evaluaciones para sus modelos generativos específicos del dominio.

Puedes ser un buen candidato si…

• Te sientes cómodo trabajando con grandes LLMs en la escala de decenas a cientos de miles de millones de parámetros.
• Tienes sólidos conocimientos de ingeniería y de investigación científica en el procesamiento de texto/datos y ML.
• Has desplegado sistemas LLM para resolver problemas reales y has diseñado formas ingeniosas para evaluar el rendimiento del sistema.
• Has trabajado en seguridad, liberación o en equipos rojos de LLMs.
• Estás apasionado por poner tu trabajo en manos de usuarios reales y, de manera más amplia, democratizar el acceso a la tecnología moderna de IA.
• Te motiva trabajar en investigaciones de LLM que, en contra de la tendencia general en el campo, se divulgarán al público.
• Tienes fuertes habilidades de comunicación y un deseo de trabajar en problemas abiertos sobre los cuales tendrás un alto grado de autonomía.

NO se requiere un doctorado para este puesto. Estamos abiertos a contratar candidatos con licenciaturas y maestrías y a nuevos graduados. Estamos abiertos a contratar candidatos que actualmente ocupen puestos de "ingeniero de investigación" en otras empresas. 

Tus Responsabilidades

• Mantenerse al día con la literatura de investigación y pensar más allá del estado del arte para atender las necesidades de nuestros usuarios.
• Desarrollar e implementar métodos novedosos para evaluar las capacidades de los modelos generativos para texto, imágenes y otros dominios.
• Probar rigurosamente estos métodos, comunicar los resultados de tus hallazgos y poner en producción aquellos que sean útiles.