Sr AI Quality Engineer

Kim Jesteśmy
W HMH skupiamy się na transformacji edukacji poprzez innowacyjne rozwiązania edukacyjne. Nasze platformy umożliwiają milionom uczniów odkrycie swojego potencjału i spełnienie marzeń. Dołączając do naszego zespołu, będziesz uczestniczyć w znaczących projektach, które kształtują przyszłość edukacji dla ponad 53 milionów uczniów i nauczycieli na całym świecie.

• Opracowywanie i realizacja kompleksowych planów i przypadków testowych w celu zapewnienia funkcjonalności, dokładności i wydajności dużych modeli językowych (LLM) w różnych scenariuszach zastosowań.
• Wykorzystywanie różnorodnych technik testowania, takich jak input fuzzing, testy oporu i wykrywanie błędów, aby zapewnić solidność i inkluzywność.
• Przeprowadzanie analiz porównawczych w celu oceny szablonów promptów LLM i interakcji użytkownika, identyfikowanie najbardziej efektywnych wdrożeń.
• Współpraca z zespołami multidyscyplinarnymi, w tym deweloperami, naukowcami danych i menedżerami produktów, w celu udoskonalenia strategii projektowania, wdrażania i testowania.
• Prowadzenie inicjatyw w zakresie bezpieczeństwa AI i odpowiedzialności, zapewniając zgodność z etycznymi zasadami AI, standardami prywatności danych i wymogami regulacyjnymi.
• Pomiar wydajności LLM za pomocą takich metryk jak precyzja, recall, BLEU score i perplexity. Utrzymywanie systemów metryk w celu ciągłego doskonalenia jakości.
• Przeprowadzanie testów regresji, obciążeniowych i wydajnościowych za pomocą Gatling, aby zapewnić skalowalność i optymalną funkcjonalność komponentów LLM.
• Identyfikacja, dokumentowanie i priorytetyzowanie problemów i błędów. Używanie narzędzi do debugowania w celu rozwiązania problemów z przewidywaniami modeli i przetwarzaniem danych.
• Opracowywanie strategii testowania dla potoków przetwarzania danych, dotyczących jakości danych i problemów ze skalowalnością potoków.
• Śledzenie postępów w dziedzinie etyki AI, NLP, badań ML i metodologii zapewnienia jakości, integracja najlepszych praktyk w procesach QA.
• Efektywna komunikacja wyników testów i rekomendacji dla interesariuszy, dostarczanie praktycznych informacji zwrotnych w celu poprawy aplikacji LLM.

Szukamy doświadczonych i zmotywowanych osób, które pasjonują się doskonaleniem swojego rzemiosła jakości, budowaniem zaawansowanych automatów testujących oraz wkładem w naszą kulturę jakości.

• Licencjat z informatyki lub równoważne doświadczenie w zapewnieniu jakości oprogramowania.

• Udokumentowane doświadczenie w zapewnieniu jakości oprogramowania, szczególnie w aplikacjach NLP lub LLM.
• Mocne zrozumienie koncepcji NLP i ML, algorytmów oraz technik, praca z modelami takimi jak BERT lub GPT.
• Specjalizacja w tworzeniu i realizacji planów i scenariuszy testowych w celu walidacji aplikacji LLM i potoków danych.
• Znajomość specyficznych technik testowania NLP, w tym input fuzzing i testów oporu.
• Zrozumienie metryk ewaluacyjnych, takich jak precyzja, recall, BLEU score i perplexity.
• Doskonałe umiejętności analityczne i rozwiązywania problemów w kontekście zachowania LLM i przetwarzania danych.
• Zdolność do priorytetyzowania testów na podstawie krytyczności funkc