Software Engineer, Analytics Data Infrastructure

À propos de l'équipe : Chez OpenAI, l'équipe de la plateforme de recherche en analytique est à la pointe de la conception, de la construction et de l'exploitation des structures fondamentales de données et d'analytique essentielles pour la recherche en IA. Notre objectif est unique : propulser la recherche en IA vers l'AGI en gérant les composants critiques de la pile de formation de recherche. Cela inclut tout, depuis les pipelines de traitement de données avancées jusqu'aux bibliothèques sophistiquées qui soutiennent nos modèles de formation distribuée, tout en fournissant des systèmes d'observabilité et d'analytique pour améliorer la qualité de la recherche et gérer le cycle de vie des données à grande échelle.

À propos du rôle : Au fur et à mesure que OpenAI se développe, nous avons besoin d'ingénieurs dédiés et compétents pour soutenir les demandes croissantes de nos chercheurs et ingénieurs. Votre rôle consistera à améliorer les pipelines de traitement des données, à améliorer les systèmes d'observabilité et à exécuter des projets de gestion du cycle de vie des données avec un accent mis sur l'efficacité, la sécurité et la scalabilité. Ce poste est idéal pour ceux qui ont de l'expérience dans la mise à l'échelle des services Kubernetes, le débogage de la latence des consommateurs Kafka, le diagnostic des défaillances des systèmes distribués et le développement de pipelines de traitement de données de bout en bout. Que vous soyez basé à San Francisco, CA, ou que vous préfériez travailler à distance aux États-Unis, nous offrons un modèle de travail hybride flexible et une assistance à la relocation.

• Prendre des décisions d'architecture et d'ingénierie impactantes en utilisant votre expérience et vos connaissances avancées.
• Préserver la sécurité, l'intégrité et la conformité de nos données conformément aux normes de l'industrie et de l'entreprise.
• Étendre nos plateformes d'analytique et de données pour soutenir une croissance substantielle.
• Améliorer la productivité de l'entreprise en développant des outils et systèmes de données supérieurs pour notre équipe.
• Collaborer avec diverses équipes pour introduire de nouvelles fonctionnalités et capacités fondamentales.
• Gérer la fiabilité du système et participer à une rotation d'astreinte pour les réponses aux incidents critiques.

Vous êtes probablement parfaitement adapté(e) à ce rôle si vous :

• Avez construit des pipelines de traitement de données en flux et par lots en utilisant des outils comme Kafka, Spark ou Flink.
• Êtes compétent(e) dans la gestion moderne de l'infrastructure avec des systèmes comme Kubernetes et Terraform.
• Possédez un fort intérêt ou une expérience dans les systèmes d'observabilité, particulièrement dans le contexte de la formation ML.
• Avez une expérience significative dans des organisations de formation ML, en particulier avec les transformations de données avant l'entraînement.
• Êtes un(e) ingénieur(e) logiciel habile avec une expertise en Python et avez de l'expérience dans la gestion de grands ensembles de code.
• Avez géré la gestion du cycle de vie des données dans des environnements à grande échelle, en abordant le contrôle d'accès, le mouvement des données, la gestion des métadonnées, etc.
• Prospérez dans des environnements à rythme soutenu et êtes un auto-démarreur proactif.

OpenAI est une entreprise leader en recherche et déploiement en IA, visant à assurer les immenses bénéfices de l'IA à usage général pour l'humanité. En tant qu'employeur offrant l'égalité des chances, nous nous engageons pour