Software Engineer, Analytics Data Infrastructure

Job expired!

О команде: В OpenAI команда аналитики исследовательских платформ стоит на переднем крае проектирования, строительства и управления основополагающими структурами данных и аналитики, необходимыми для исследований в области ИИ. Наша цель единственна: способствовать исследованиям в области ИИ в направлении AGI, управляя критически важными компонентами стека обучения исследований. Это включает в себя все, от продвинутых пайплайнов обработки данных до сложных библиотек, которые поддерживают наши распределенные модели обучения, наряду с обеспечением наблюдаемости и аналитических систем для повышения качества исследований и управления жизненным циклом данных в масштабе.

Об этой роли: По мере расширения OpenAI нам требуются преданные и квалифицированные инженеры для поддержки растущих потребностей наших исследователей и инженеров. Ваша роль будет включать улучшение пайплайнов обработки данных, улучшение систем наблюдаемости и выполнение проектов управления жизненным циклом данных с акцентом на эффективность, безопасность и масштабируемость. Эта позиция идеально подходит для тех, кто имеет опыт масштабирования сервисов Kubernetes, отладки задержек потребителей Kafka, диагностики сбоев распределенных систем и разработки энд-ту-энд пайплайнов обработки данных. Будь вы в Сан-Франциско, Калифорния, или предпочитаете работать удаленно в США, мы предлагаем гибкую гибридную модель работы и помощь с переездом.

Принимать важные архитектурные и инженерные решения, используя свой продвинутый опыт и знания.
Соблюдать безопасность, целостность и соответствие наших данных в соответствии со стандартами отрасли и компании.
Масштабировать наши аналитические и данные платформы для поддержки значительного роста.
Повышение производительности компании за счет разработки превосходных инструментов и систем для нашей команды.
Сотрудничать с различными командами для внедрения новых функций и основных возможностей.
Управлять надежностью системы и участвовать в дежурстве по критическим инцидентам.

Вероятно, вы отлично подойдете для этой роли, если вы:

Создавали пайплайны обработки данных как потоков, так и пакетов, используя инструменты вроде Kafka, Spark или Flink.
Обладаете навыками современного управления инф