Job expired!
L'équipe d'interprétabilité chez Anthropic travaille à la rétro-ingénierie des modèles parce que nous croyons qu'une compréhension mécaniste est le moyen le plus robuste de rendre les systèmes avancés sûrs. Nous sommes à la recherche de chercheurs et d'ingénieurs pour rejoindre nos efforts.
Peu de choses peuvent accélérer ce progrès plus qu'une excellente infrastructure. En tant qu'ingénieur de recherche, vous construirez et maintiendrez l'infrastructure utilisée par toute l'équipe, y compris vous-même. Vous toucherez toutes les parties de notre code et de notre infrastructure, que ce soit pour rendre le cluster plus fiable pour nos gros travaux, améliorer le débit et l'efficacité, exécuter et concevoir des expériences scientifiques, ou améliorer nos outils de développement. Vous êtes motivé pour comprendre notre recherche afin de pouvoir écrire du code qui l'accélère.
Quelques-unes des publications notables de notre équipe comprennent Un Cadre Mathématique pour les Circuits de Transformation, Apprentissage en Contexte et Têtes d'Induction, et Modèles de Jouets de Superposition. Ce travail s'appuie sur des idées des membres de l'équipe avant leur arrivée chez Anthropic comme le fil de discussion original sur les circuits, Neurones Multimodaux, Atlas d'Activation, et Blocs de Construction.
Nous visons à créer une base solide pour comprendre mécaniquement les réseaux neuronaux et les rendre sûrs (voir notre récents post sur notre vision). À court terme, cela signifie que nous concentrons beaucoup notre attention sur la question de la "superposition" (voir Modèles de Jouets de Superposition, Superposition, Mémorisation, et Double Descente, et notre mise à jour de mai 2023). Mais ce n'est qu'une étape vers notre objectif de comprendre mécaniquement les réseaux neuronaux.
À propos d'Anthropic
Anthropic est une entreprise de recherche et de sécurité IA qui travaille à construire des systèmes IA fiables, interprétables et pilotables. Nous voulons que l'IA soit sûre et bénéfique pour nos clients et pour la société dans son ensemble. Notre équipe interdisciplinaire a une expérience dans les domaines des ML, de la physique, de la politique, des affaires et des produits.
Responsabilités :
- Construire une infrastructure pour mener des expériences et visualiser les résultats
- Concevoir et mener des expériences robustes, rapidement dans des scénarios de jouets et à grande échelle dans de grands modèles
- Développer des méthodes pour comprendre les LLM en rétro-ingénierie des algorithmes appris dans leurs poids
- Travailler avec des collègues pour communiquer les résultats en interne et publiquement
Vous pourriez être un bon candidat si vous :
- Avez une expérience significative en génie logiciel
- Êtes orienté résultats, avec une tendance à la flexibilité et à l'impact
- Prenez des initiatives, même si cela dépasse votre description de poste
- Aimez la programmation en binôme (nous adorons cela !)
- Voulez en savoir plus sur la recherche en interprétabilité
- Vous souciez des impacts sociétaux de votre travail
Les candidats forts peuvent également avoir de l'expérience avec :
- Les systèmes ML à haute performance et à grande échelle
- Les GPU, Kubernetes, Pytorch, ou les internes de l'OS
- La modélisation de langage avec les transformateurs
- L'apprentissage par renforcement
- L'ETL à grande échelle
Projets représentatifs :
- Garcon - un outil qui permet aux chercheurs d'accéder facilement aux internes des LLM à partir d'un cahier Jupyter
- Des pipelines ETL pour collecter et analyser les activations LLM à grande échelle
- Profilage et optimisation de l'entraînement ML, y compris la parallélisation à de nombreux GPU
- Rendre le lancement des expériences ML et la manipulation+analyse des résultats rapides et faciles
- Rédaction d'un document de conception pour les stratégies de tolérance aux pannes
- Création d'une visualisation interactive de l'attention entre les tokens dans un modèle de langage
La maîtrise du python est requise pour ce poste.
Salaire annuel :
- La fourchette de salaire attendue pour ce poste est de 280 000 $ - 520 000 $ USD.
Logistique
Politique hybride basée sur la localisation : Actuellement, nous prévoyons que tous les membres du personnel soient dans notre bureau au moins 25% du temps.
Date limite pour postuler : Nous prévoyons d'embaucher pour ce poste de manière intermittente, mais notre plan est d'embaucher quelques personnes dans les 2 à 3 prochains mois, puis nous ralentirons probablement les embauches pendant que l'équipe se stabilise. (Cette opportunité a été initialement publiée début juillet.)
Parrainage de visa américain : Nous parrainons les visas ! Cependant, nous ne sommes pas en mesure de parrainer avec succès des visas pour chaque rôle et chaque candidat ; les rôles opérationnels sont particulièrement difficiles à soutenir. Mais si nous vous faisons une offre, nous ferons tout notre possible pour vous faire entrer aux États-Unis, et nous retenons un avocat en immigration pour nous aider à cela.
Nous vous encourageons à postuler même si vous pensez ne pas remplir toutes les qualifications. Tous les candidats forts ne rempliront pas toutes les qualifications telles que listées. Les recherches montrent que les personnes qui s'identifient comme faisant partie de groupes sous-représentés sont plus susceptibles de vivre des expériences d'imposteur.
Related Jobs
Africa Talent par Deloitte - NL - Consultant en Analyse de Données
- Other
- Other places
- $41 K - $77 K
- Full Time
