Старший/сотрудник научного исследования, SEAL

Как основной специалист по работе с данными и оценке для передовых компаний AI, Scale играет ключевую роль в понимании и защите больших языковых моделей (LLM).

Лаборатория безопасности, оценок и анализа (SEAL) представляет собой новую исследовательскую инициативу Scale, которая сосредоточена на создании надежных продуктов оценки и решении сложных исследовательских задач в области оценки и испытаний непредвиденных ситуаций (красная команда).

Мы активно ищем опытных исследователей, которые присоединятся к нам с целью сформировать область безопасности и прозрачности во всем секторе AI. Мы поддерживаем сотрудничество в рамках индустрии и публикацию результатов наших исследований. Ниже представлены некоторые представительные проекты SEAL:

• Разрабатывать и проводить надежные оценочные тесты. Улучшать и обеспечивать воспроизводимость и надежность оценок.
• Исследовать и применять передовые методы ассистированного моделью ведения "красных команд".
• Разрабатывать автоматизированные системы оценки на основе LLM с использованием экосистемы Scale для фирменных обучающих данных.
• Разрабатывать подходы помощи оценщикам, например, моделирование критики, для улучшения качества оценки.

В идеале, у вас должно быть:

• Преданность нашей цели продвижения безопасных, надежных и надёжных реализаций AI в индустрии.
• Практический опыт проведения совместных технических исследований с владением таких фреймворков, как Pytorch, Jax или Tensorflow. Вы также должны быть искусны в понимании научной литературы и быстром преобразовании новых концепций в прототипы.
• История публикации исследований в области машинного обучения, особенно в области генеративного AI.
• Как минимум трехлетний опыт работы со сложными проблемами ML, либо в научно-исследовательской обстановке, либо в разработке продукта.
• Сильные устные и письменные коммуникативные навыки для работы в составе межфункциональной команды.

Предпочтительные квалификации:

• Практический опыт работы с открытым источником для тонкой настройки LLM или участие в конкретных проектах по тонкой настройке LLM с использованием Pytorch/Jax.
• Опыт создания оценок или история работы в ролях, связанных с наукой о данных, связанной с технологиями LLM.
• Опыт работы с технологией облачного стека (например, AWS или GCP) и разработкой моделей машинного обучения в облачной среде.

Наше исследовательское собеседование разработано для оценки навыков кандидатов в области практического прототипирования и отладки ML, понимания научных концепций и их совместимости с нашей корпоративной культурой. Мы не будем ставить задачи в стиле LeetCode.

Базовая заработная плата для этой полноценной роли в Scale AI в Сан-Франциско, Нью-Йорке или Сиэтле варьируется от 200 000 до 370 000 долларов. В Scale компенсационные пакеты включают базовую зарплату, акции и льготы. Диапазон, указанный в каждом объявлении о вакансии, показывает минимальную и максимальную целевую зарплату для роли, которая определяется местоположением и другими факторами, включая профессиональные навыки, опыт, результаты собеседования, а также соответствующее образование или обучение. Ваш рекрутер может предоставить более подробную информацию о конкретном диапазоне зарплат для вашего предпочтительного местоположения во время процесса найма. Сотрудники Scale также получают опционы на акции, которые утверждаются советом директоров. Льготы включают, но не ограничиваются: всеобъемлющее медицинское, стоматологическое и зрительное страхование, пенсионные льготы, стипендии на обучение и развитие, а также щедрый отпуск. На эту роль также может распространяться право на дополнительные льготы, такие как стипендия на коммутирование.