Senior Software Engineer, GenAI Safety & Evaluation

Sobre el puesto

En el mundo impulsado por la tecnología de hoy, la IA está revolucionando el software. La IA mejora exponencialmente la inteligencia humana, lo que lleva a las principales empresas tecnológicas a desarrollar LLM a gran escala y a las empresas a integrar la IA en sus productos. Para garantizar la seguridad, alineación y utilidad de estos modelos, los datos generados por humanos de alta calidad y la evaluación son cruciales. Desde el lanzamiento de ChatGPT, Scale ha sido líder en proporcionar datos de ajuste fino y alineación de preferencias humanas (RLHF) después del entrenamiento a través de nuestro Motor de Datos de IA Generativa, dando forma al futuro de la interacción humano-IA.

A medida que los clientes refinan continuamente sus modelos, las evaluaciones de rendimiento confiables y la identificación de debilidades se vuelven críticas. Los expertos humanos de Scale realizan estas evaluaciones, guiando a los desarrolladores de modelos sobre cómo optimizar sus inversiones técnicas.

El equipo de Seguridad y Evaluación de GenAI en Scale crea una plataforma de evaluación de modelos de primer nivel orientada al cliente. Esta plataforma simplifica el lanzamiento de nuevos flujos de trabajo de evaluación, proporciona información detallada sobre los resultados a nivel de casos de prueba e influye en las hojas de ruta de desarrollo del modelo. Al unirte a nuestro equipo, darás forma a las prácticas de evaluación estándar de la industria, impactando a miles de millones en todo el mundo. También construirás soluciones impactantes desde cero como parte de nuestro equipo de productos innovadores.

Colaborando con el Laboratorio de Seguridad, Evaluaciones y Alineación de Scale (SEAL) y el equipo experto de red, impulsarás la seguridad de la IA a través de rigurosas pruebas de modelos respaldadas por instituciones líderes.

Responsabilidades clave

• Entregar características listas para el cliente que exhiban excelencia en ingeniería.
• Trabajar con backend, frontend e interacciones de modelos de ML.
• Supervisar todo el ciclo de vida del producto, desde la idea hasta la producción.
• Adaptarse rápidamente a nuevas tecnologías, realizar múltiples tareas y aprender rápidamente.
• Colaborar con equipos multifuncionales para definir, diseñar y lanzar nuevas características y experiencias del producto.
• Ejecutar solicitudes de productos de rápida respuesta para clientes de alto valor.

Calificaciones preferidas

• Más de 5 años de experiencia en ingeniería después de la graduación.
• Competencia en Python, Node, React, Next.js y MongoDB.
• Sólidos conocimientos de algoritmos, estructuras de datos y programación orientada a objetos.
• Experiencia en escalar productos en startups de hipercrecimiento.
• Entusiasmo por las tecnologías de IA.
• Habilidades de comunicación sólidas para prosperar en una cultura orientada a la escritura.
• Excelentes habilidades para resolver problemas y una mentalidad orientada al equipo.

Habilidades adicionales valoradas incluyen:

• Competencia en las mejores prácticas de ingeniería de software.
• Experiencia con plataformas de IA, modelos generativos y LLM.
• Experiencia en construir infraestructura de ML y soluciones impulsadas por IA.
• Experiencia en lanzar nuevos productos desde el concepto hasta la realidad.

Compensación y beneficios

Scale ofrece paquetes de compensación competitivos, que incluyen salario base, acciones y beneficios integrales. Las escalas salariales dependen del lugar de trabajo y otros factores relacionados con el trabajo. Nuestro paquete de beneficios incluye cobertura integral de salud, dental y de la vista, beneficios de jubilación, un estipendio de aprendizaje y desarrollo, y tiempo libre generoso. Este rol también puede calificar para beneficios adicionales como un estipendio de transporte.

Detalles de transparencia salarial para puestos a tiempo completo en San Francisco, Nueva York y Seattle:

Rango salarial: $160,000—$225,000 USD

Sobre nosotros

En Scale, impulsamos la innovación de la IA en diversas industrias, facilitando la transición del software tradicional a la IA. Nuestra misión es acelerar la adopción de la IA y nuestros productos respaldan LLM de vanguardia,