Sr AI Quality Engineer

Quiénes Somos
En HMH, estamos dedicados a transformar la educación a través de soluciones de aprendizaje innovadoras. Nuestras plataformas empoderan a millones de estudiantes para desbloquear su potencial y alcanzar sus sueños. Al unirte a nuestro equipo, contribuirás a proyectos impactantes que dan forma al futuro de la educación para más de 53 millones de estudiantes y profesores en todo el mundo.

Responsabilidades Principales

• Desarrollar y ejecutar planes y casos de prueba integrales para asegurar la funcionalidad, precisión y rendimiento de los modelos de lenguaje de gran escala (LLMs) en diversos casos de uso.
• Utilizar diversas técnicas de prueba—como fuzzing de entrada, pruebas adversariales y detección de sesgos—para garantizar robustez e inclusividad.
• Realizar análisis comparativos para evaluar plantillas de prompt de LLM y las interacciones de los usuarios, identificando las implementaciones más efectivas.
• Colaborar con equipos multifuncionales, incluyendo desarrolladores, científicos de datos y gerentes de productos, para perfeccionar las estrategias de diseño, implementación y prueba.
• Liderar iniciativas de seguridad y responsabilidad en IA, asegurando el cumplimiento de principios éticos de IA, estándares de privacidad de datos y requisitos regulatorios.
• Medir el rendimiento de LLM utilizando métricas como precisión, recall, puntuación BLEU y perplexity. Mantener sistemas de métricas para mejorar continuamente la calidad.
• Realizar pruebas de regresión, carga y rendimiento usando Gatling para asegurar la escalabilidad y funcionalidad óptima de los componentes de LLM.
• Identificar, documentar y priorizar problemas y errores. Usar herramientas de depuración para resolver problemas de predicción de modelos y procesamiento de datos.
• Desarrollar estrategias de prueba para canalizaciones de procesamiento de datos, abordando preocupaciones de calidad de datos y escalabilidad de las canalizaciones.
• Mantenerse actualizado sobre los desarrollos en ética de IA, PNL, investigación de ML y metodologías de aseguramiento de calidad, integrando las mejores prácticas en los procesos de AQ.
• Comunicar eficazmente los resultados de las pruebas y las recomendaciones a las partes interesadas, proporcionando comentarios accionables para mejorar las aplicaciones de LLM.

Lo Que Buscamos

Buscamos personas experimentadas y motivadas, apasionadas por mejorar su habilidad en la calidad, construir suites avanzadas de pruebas automatizadas y contribuir a nuestra cultura de calidad.

Educación y Experiencia

• Licenciatura en ciencias de la computación o experiencia equivalente en aseguramiento de calidad de software.

Conocimientos y Habilidades Requeridos

• Experiencia demostrada en aseguramiento de calidad de software, particularmente con aplicaciones de PNL o LLMs.
• Sólido conocimiento de conceptos, algoritmos y técnicas de PNL y ML, trabajando con modelos como BERT o GPT.
• Experiencia en la creación y ejecución de planes y escenarios de prueba para validar aplicaciones de LLM y canalizaciones de datos.
• Familiaridad con técnicas de prueba específicas de PNL, incluyendo fuzzing de entrada y pruebas adversariales.
• Comprensión de métricas de evaluación como precisión, recall, puntuación BLEU y perplexity.
• Excelentes habilidades analíticas y de resolución de problemas para el comportamiento de LLM y procesamiento de datos.
• Capacidad para priorizar pruebas en función de la criticidad de las características y el impacto en el usuario.
• Sólidas habilidades de comunicación para trabajar dentro de equipos multifuncionales y explicar conceptos técnicos a partes interesadas no técnicas.
• Motivado y proactivo, con una pasión por la calidad y la mejora continua en los métodos de prueba.

Información Adicional
Empresa: Houghton Mifflin Harcourt
Título del Trabajo: Ingeniero Sr. de Calidad de IA