Sr AI Quality Engineer

Кто мы
В компании HMH мы стремимся преобразовать образование с помощью инновационных решений для обучения. Наши платформы дают возможность миллионам учащихся раскрыть свой потенциал и достичь своих целей. Присоединившись к нашей команде, вы будете участвовать в значимых проектах, которые формируют будущее образования для более чем 53 миллионов студентов и учителей по всему миру.

• Разрабатывать и выполнять комплексные тест-планы и сценарии для обеспечения функциональности, точности и производительности больших языковых моделей (LLM) в различных случаях использования.
• Использовать различные методы тестирования, такие как ввод случайных данных, проверка на устойчивость и обнаружение предвзятости, для гарантии надежности и инклюзивности.
• Проводить сравнительный анализ для оценки шаблонов запросов LLM и взаимодействий с пользователями, определяя наиболее эффективные реализации.
• Сотрудничать с межфункциональными командами, включая разработчиков, специалистов по данным и менеджеров по продуктам, для уточнения стратегий проектирования, реализации и тестирования.
• Возглавлять инициативы по обеспечению безопасности и ответственности в области ИИ, соблюдая принципы этичного ИИ, стандарты конфиденциальности данных и нормативные требования.
• Измерять производительность LLM с использованием таких метрик, как точность, полнота, показатель BLEU и перплексность. Поддерживать системы метрик для непрерывного улучшения качества.
• Проводить регрессионное, нагрузочное и производительное тестирование с использованием Gatling для обеспечения масштабируемости и оптимальной работы компонентов LLM.
• Находить, документировать и приоритизировать проблемы и ошибки. Использовать инструменты отладки для устранения проблем с предсказаниями моделей и обработкой данных.
• Разрабатывать тестовые стратегии для конвейеров обработки данных, решая вопросы качества данных и масштабируемости конвейеров.
• Быть в курсе последних разработок в области этики ИИ, NLP, исследований ML и методологий обеспечения качества, интегрируя лучшие практики в процессы QA.
• Эффективно сообщать о результатах тестирования и рекомендациях заинтересованным сторонам, предоставляя действенную обратную связь для улучшения приложений LLM.

Мы ищем опытных и мотивированных специалистов, увлечённых улучшением качества своей работы, созданием продвинутых автоматизированных тестовых наборов и внесением вклада в нашу культуру качества.

• Степень бакалавра в области компьютерных наук или эквивалентный опыт в области обеспечения качества программного обеспечения.

• Доказанный опыт в обеспечении качества программного обеспечения, особенно с приложениями NLP или LLM.
• Хорошее понимание концепций, алгоритмов и техник NLP и ML, работа с моделями, такими как BERT или GPT.
• Экспертиза в создании и выполнении тест-планов и сценариев для проверки приложений LLM и конвейеров обработки данных.
• Знакомство с методами тестирования, специфичными для NLP, включая ввод случайных данных и проверку на устойчивость.
• Понимание оценочных метрик, таких как точность, полнота, показатель BLEU и перплексность.
• Отличные аналитические и отладочные навыки для анализа поведения LLM и обработки данных.
• Способность приоритизировать тесты на основе критичности функции и влияния на пользователей.
• Сильные навыки коммуникации для работы в межфункциональных командах и объяснения технических концепций для нетехнических заинтересованных сторон.
• Самомотивированность и инициативность с увлечением качеством и непрерывным улучшением методов тестирования.

Дополнительная информация
Компания: Houghton Mifflin Harcourt
Должность: Старший инженер по качеству ИИ