Sr AI Quality Engineer

Хто ми є
У компанії HMH ми прагнемо трансформувати освіту за допомогою інноваційних рішень для навчання. Наші платформи дають можливість мільйонам учнів розкрити свій потенціал та досягти своїх мрій. Приєднавшись до нашої команди, ви будете працювати над проєктами, які впливають на майбутнє освіти для понад 53 мільйонів учнів та вчителів у всьому світі.

• Розробляти та виконувати комплексні плани та випадки тестування для забезпечення функціональності, точності та продуктивності великих мовних моделей (LLM) у різних сценаріях використання.
• Використовувати різноманітні техніки тестування, такі як введення випадкових даних, адверсаріальне тестування та виявлення упередженості, для гарантування надійності і інклюзивності.
• Проводити порівняльний аналіз для оцінювання шаблонів запитів LLM та взаємодій з користувачами, визначаючи найбільш ефективні реалізації.
• Співпрацювати з міжфункціональними командами, включаючи розробників, науковців з даних та менеджерів продуктів, для поліпшення стратегій дизайну, впровадження та тестування.
• Керувати ініціативами з безпеки та відповідальності в сфері ШІ, забезпечуючи дотримання етичних принципів ШІ, стандартів приватності даних та регуляторних вимог.
• Вимірювати продуктивність LLM за допомогою таких метрик, як точність, повнота, BLEU-оцінка та perplexity. Підтримувати системи метрик для постійного поліпшення якості.
• Виконувати регресивне, навантажувальне та продуктивне тестування з використанням Gatling для забезпечення масштабованості та оптимальної функціональності компонентів LLM.
• Ідентифікувати, документувати та пріоритезувати проблеми та помилки. Використовувати інструменти налагодження для усунення проблем з прогнозами моделей та обробкою даних.
• Розробляти стратегії тестування для конвеєрів обробки даних, вирішуючи питання якості даних та масштабованості конвеєра.
• Бути в курсі розвитку етики ШІ, досліджень у сфері обробки природної мови (NLP), машинного навчання (ML) та методологій забезпечення якості, інтегруючи найкращі практики у процеси контролю якості.
• Ефективно комунікувати результати тестів та рекомендації з зацікавленими сторонами, надаючи практичний зворотній зв'язок для покращення застосувань LLM.

Ми шукаємо досвідчених та мотивованих фахівців, які захоплюються покращенням своєї майстерності у сфері якості, створенням вдосконалених автоматизованих тестових наборів та внесенням свого вкладу у нашу культуру якості.

• Ступінь бакалавра у галузі комп'ютерних наук або еквівалентний досвід у забезпеченні якості програмного забезпечення.

• Доведений досвід у забезпеченні якості програмного забезпечення, особливо з додатками NLP або LLM.
• Глибоке розуміння концепцій NLP та ML, алгоритмів та технік, робота з моделями типу BERT або GPT.
• Професіоналізм у створенні та виконанні планів і сценаріїв тестування для валідації додатків LLM та конвеєрів даних.