Científico Investigador Senior/Personal, SEAL

Como socio líder en datos y evaluación para compañías de IA de frontera, Scale juega un papel integral en la comprensión de las capacidades y en la protección de los modelos de lenguaje a gran escala (LLM).

El Laboratorio de Seguridad, Evaluaciones y Análisis (SEAL) es el nuevo esfuerzo de investigación en fronteras de Scale dedicado a construir productos de evaluación robustos y a abordar los desafiantes problemas de investigación en evaluación y equipo rojo.

Estamos buscando activamente investigadores talentosos para que se unan a nosotros en la configuración del panorama de seguridad y transparencia para toda la industria de la IA. Apoyamos las colaboraciones en toda la industria y la publicación de nuestros hallazgos de investigación. A continuación se muestra una lista de los proyectos representativos de SEAL:

• Diseño e implementación de benchmarks de evaluación robustos. Medir y mejorar la reproducibilidad y la fiabilidad de la evaluación.
• Investigar e implementar métodos de equipos rojos asistidos por el modelo de última generación.
• Desarrollar sistemas de clasificación automatizados basados en LLM de última generación aprovechando el ecosistema Scale para datos de entrenamiento personalizados.
• Desarrollar técnicas de asistencia al evaluador, como la modelización de críticas para mejorar la calidad de las puntuaciones.

Lo ideal sería que tuvieras:

• Compromiso con nuestra misión de promover el despliegue de la IA segura, segura y confiable en la industria.
• Experiencia práctica en la realización de investigaciones técnicas en colaboración, con dominio en marcos de trabajo como Pytorch, Jax o Tensorflow. También deberías ser experto en la interpretación de literatura de investigación y en la rápida transformación de nuevas ideas en prototipos.
• Un historial de investigación publicada en aprendizaje automático, especialmente en IA generativa.
• Al menos tres años de experiencia en el manejo de problemas sofisticados de ML, ya sea en un entorno de investigación o en el desarrollo de productos.
• Fuertes habilidades de comunicación escrita y verbal para trabajar en un equipo multifuncional.

Sería conveniente que tuvieras:

• Experiencia práctica con la optimización fina de LLM de código abierto o participación en proyectos de optimización fina de LLM personalizados utilizando Pytorch/Jax.
• Experiencia en la elaboración de evaluaciones o experiencia en roles de ciencia de datos relacionados con las tecnologías LLM.
• Experiencia en el trabajo con tecnología de nube (por ejemplo, AWS o GCP) y en el desarrollo de modelos de aprendizaje automático en un entorno en la nube.

Nuestras entrevistas de investigación están diseñadas para evaluar las habilidades de los candidatos en la creación de prototipos prácticos de ML y depuración, su dominio de los conceptos de investigación y su alineación con nuestra cultura organizacional. No haremos preguntas de estilo LeetCode.

El rango de salario base para este puesto a tiempo completo en Scale AI en San Francisco, Nueva York o Seattle, es de $200,000 - $370,000. Los paquetes de compensación de Scale incluyen salario base, acciones y beneficios. El rango que se muestra en cada publicación de trabajo refleja el mínimo y el máximo objetivo para los salarios de los nuevos empleados para el puesto, determinado por la ubicación de trabajo y factores adicionales, incluidas habilidades relacionadas con el trabajo, experiencia, rendimiento en la entrevista y educación o formación relevante. Tu reclutador puede compartir más sobre el rango de salario específico para tu ubicación preferida durante el proceso de contratación. Los empleados de Scale también reciben opciones de acciones que se otorgan tras la aprobación de la junta directiva. También recibirás beneficios que incluyen, pero no se limitan a: cobertura integral de salud, dental y visión, beneficios de jubilación, una asignación para el aprendizaje y el desarrollo y generoso tiempo libre remunerado. Además, este puesto puede ser elegible para beneficios adicionales como un subsidio para desplazamientos.