Job expired!
El equipo de Interpretabilidad de Anthropic está trabajando para invertir la ingeniería de cómo funcionan los modelos porque creemos que una comprensión mecanicista es la manera más sólida de hacer que los sistemas avanzados sean seguros. Buscamos investigadores e ingenieros para unirse a nuestros esfuerzos.
Pocas cosas pueden acelerar este progreso más que una gran infraestructura. Como ingeniero de investigación, construirás y mantendrás la infraestructura utilizada por todo el equipo, incluyéndote a ti mismo. Tocarás todas las partes de nuestro código e infraestructura, ya sea para hacer que nuestro cluster sea más confiable para nuestros grandes trabajos, mejorar la eficiencia y rendimiento, diseñar y ejecutar experiencias científicas, o mejorar nuestras herramientas de desarrollo. Estás motivado por entender nuestra investigación para escribir código que la acelere.
Algunas de las publicaciones notables de nuestro equipo incluyen Un marco matemático para los circuitos de transformación, Aprendizaje en contexto y cabezas de inducción, y Modelos de juguete de superposición. Este trabajo se basa en ideas de los miembros del trabajo anterior a Anthropic como el hilo original de circuitos, Neuronas multimodales, Atlas de activación, y Bloques de construcción.
Nuestro objetivo es crear una base sólida para entender mecanísticamente las redes neuronales y hacerlas seguras (ver nuestra publicación reciente de visión). A corto plazo, esto significa que enfocamos mucho de nuestra atención en el problema de la "superposición" (ver Modelos de juguete de superposición, Superposición, memorización y doble descenso, y nuestra actualización de mayo de 2023). Pero esto es solo un paso hacia nuestro objetivo de entender mecanísticamente las redes neuronales.
Sobre Anthropic
Anthropic es una compañía de seguridad e investigación en IA que está trabajando para construir sistemas de IA confiables, interpretables y direccionables. Queremos que la IA sea segura y beneficiosa para nuestros clientes y para la sociedad en general. Nuestro equipo interdisciplinario tiene experiencia en ML, física, política, negocios y productos.
Responsabilidades:
- Construir infraestructuras para ejecutar experimentos y visualizar resultados
- Diseñar y llevar a cabo experimentos robustos, rápidamente en escenarios de juguete y a gran escala en modelos grandes
- Desarrollar métodos para entender LLMs mediante la ingeniería inversa de los algoritmos aprendidos en sus pesos
- Trabajar con colegas para comunicar los resultados interna y públicamente
Podrías ser un buen candidato si:
- Tienes una significativa experiencia en ingeniería de software
- Eres orientado a los resultados, con una tendencia hacia la flexibilidad y el impacto
- Tomas la iniciativa, incluso si sale fuera de tu descripción de trabajo
- Disfrutas del par de programación (¡nos encanta emparejar!)
- Quieres aprender más sobre la investigación de interpretabilidad
- Te preocupan los impactos sociales de tu trabajo
Los candidatos fuertes también podrían tener experiencia con:
- Sistemas de ML de alto rendimiento y gran escala
- GPUs, Kubernetes, Pytorch, o internos de OS
- Modelado de lenguaje con transformadores
- Aprendizaje por refuerzo
- ETL a gran escalaETL
Proyectos Representativos:
- Garcon - una herramienta que permite a los investigadores acceder fácilmente a los detalles internos de LLMs desde un cuaderno de jupyter
- Pipelines ETL para recopilar y analizar las activaciones de LLM a gran escala
- Perfilamiento y optimización del entrenamiento de ML, incluyendo paralelización a muchas GPUs
- Facilitar el lanzamiento de experimentos de ML y manipular+analizar los resultados rápido y fácil
- Redacción de un documento de diseño para estrategias de tolerancia a fallos
- Creación de una visualización interactiva de la atención entre tokens en un modelo de lenguaje
Se requiere familiaridad con python para este rol.
Salario Anual:
- El rango de salario esperado para este puesto es de $280k - $520k USD.
Logística
Política híbrida basada en la ubicación: Actualmente, esperamos que todo el personal esté en nuestra oficina al menos el 25% del tiempo.
Fecha límite para solicitar: Esperamos contratar para este puesto de manera intermitente, pero nuestro plan es contratar a unas pocas personas en los próximos 2-3 meses, y luego es probable que se reduzca la contratación mientras el equipo se establece. (Esta oportunidad fue publicada originalmente a principios de julio).
Patrocinio de visa en EE.UU.: ¡Sí patrocinamos visas! Sin embargo, no somos capaces de patrocinar visas con éxito para cada puesto y cada candidato; los roles de operaciones son especialmente difíciles de apoyar. Pero si te hacemos una oferta, haremos todo lo posible por llevarte a los Estados Unidos, y mantenemos un abogado de inmigración para ayudar con esto.
Te animamos a que solicites aunque no creas que cumples con todas las cualificaciones. No todos los candidatos fuertes cumplirán con todas las cualificaciones tal como están listadas. La investigación muestra que las personas que se identifican como procedentes de grupos subrepresentados son más propensas a experimentar im
Related Jobs
Talento Africano de Deloitte - NL - Consultor de Análisis de Datos
- Other
- Other places
- $41 K - $77 K
- Full Time
