Para evaluar un RAG, separe la investigación documental del personal editorial. Un pasaje relevante mal reformulado y una respuesta fluida basada en el documento equivocado son dos defectos diferentes. Cree un juego de referencia, luego examine las fuentes recuperadas y las afirmaciones producidas.
Construye un juego de preguntas realista
Tome solicitudes frecuentes, formulaciones inexactas y algunas preguntas fuera del alcance. Para cada uno, escribe la respuesta esperada con los pasajes que la justifican. Haga que esta referencia sea validada por una persona que conoce el tema. Mantenga las preguntas independientes de la configuración del sistema para evitar optimizar solo los ejemplos ya utilizados durante el desarrollo.
controlar lo que se encontró
Antes de anotar el estilo de la respuesta, abra los documentos recuperados. ¿Realmente contienen la información necesaria? ¿Se usa la versión correcta? ¿Se cortó una condición importante al cortar? Clasificar errores: documento ausente del corpus, búsqueda insuficiente, pasaje demasiado amplio o versión obsoleta. Este análisis indica qué parte de la cadena modificar.
Una pequeña prueba de aceptación que revela varias familias de errores
La siguiente cuadrícula describe casos de demostración, sin resultados medidos en un sistema cliente. Cada pregunta debe tener una referencia validada antes de la prueba. La referencia puede especificar que no debe responder. Esto evita que un modelo sea recompensado por dar una respuesta plausible a una pregunta que el corpus no resuelve.
| pregunta de prueba | Esperando para comprobar | No clasificar |
|---|---|---|
| ¿Qué incluye esta oferta? | Respuesta limitada al alcance del documento actual | Servicio agregado sin fuente |
| ¿Esta condición se aplica a todas las fórmulas? | excepción o diferencia en el alcance mantenido | Regla general presentada sin su condición |
| ¿Cuál es el precio de una opción no documentada? | Falta de reconocimiento y orientación útil | Cantidad inventada |
| ¿Qué dice un antiguo procedimiento retirado? | Falta de restitución como regla actual | Versión obsoleta aún recuperada |
| ¿Puedo consultar este documento reservado? | Respeto a los derechos de los usuarios | pasaje no autorizado expuesto en la respuesta |
Por cada falla, mantenga la pregunta, los documentos recuperados, la respuesta producida y la decisión del revisor. Si coexisten varios defectos, escríbalos por separado. Una fuente relevante puede ir acompañada de una sentencia inventada; Sería engañoso resumir este caso por “fuente recuperada, por lo tanto, éxito”. La declaración también debe permitir que otra persona entienda por qué la respuesta fue aceptada o rechazada.
Evaluar la afirmación de respuesta por afirmación
Comprobar exactitud, integridad, fidelidad a las fuentes y reconocimiento de incertidumbre. Una cita en la que se puede hacer clic no es suficiente si el pasaje citado no admite la oración. Un evaluador automático puede ayudar a ordenar los resultados, pero su juicio necesita ser controlado. Hugging Face presenta un enfoque de evaluación con preguntas, respuestas de referencia y criterios explícitos; Adaptalo al riesgo de tu negocio.
Ejemplo ficticio: un período mal reanudado
El documento distingue entre preparación y entrega. El asistente no agrega los pasos y anuncia un retraso general incorrecto. La investigación ha encontrado el pasaje correcto, pero la respuesta sigue siendo falsa. El parche trata sobre la formulación y el control de cálculo, no necesariamente sobre la base del vector. Por el contrario, una fuente obsoleta primero requiere una corrección documental.
Usar medidas sin ocultar casos importantes
Dos simples medidas pueden ayudar al piloto: la proporción de preguntas para las que se recupera al menos un pasaje esperado, luego la proporción de respuestas aceptadas según su cuadrícula. Estos son indicadores propuestos para este protocolo, no una definición universal de recuerdo o un nivel de calidad oficial para RAGs. Publique su denominador y mantenga las categorías de preguntas separadas. Un buen resultado general puede enmascarar el fracaso de todos los casos sin respuesta.
- Congela un lote de preguntas y una versión del corpus. Reserve otro lote para verificar que la configuración no funciona solo en los ejemplos ya examinados.
- Haga que una parte de las respuestas vuelva a leer por dos personas. Los desacuerdos a menudo indican que la cuadrícula o referencia carece de precisión.
- Si está utilizando un modelo de evaluador, confronte sus decisiones con esta revisión. Una evaluación automática no reemplaza la prueba en el documento.
- Compare solo un cambio importante a la vez y archive las salidas. Priorice que ninguna regresión afecte a los accesos o casos fuera del perímetro.
Los Hugging Face — Evaluación de RAG Presenta un enfoque de referencia con referencias. Nuestra cuadrícula completa este enfoque con decisiones adaptadas al contenido de un sitio y de sus usuarios. Para un asistente público, una respuesta cuidadosa y verificable puede ser preferible a una respuesta más completa que agregue una condición faltante. Los Transición a un ser humano Debe formar parte de los resultados autorizados.
Si los defectos parecen estar relacionados con la escritura más que con la investigación documental, Protocolo de comparación LLM con tareas empresariales Ayuda a preparar un ensayo específico. Mantenga las mismas fuentes y preguntas para no confundir las causas.
Compara un solo cambio a la vez
Configuración del archivo, corpus, preguntas y resultados antes de cada prueba. Luego modifique un parámetro, luego vuelva a lanzar los mismos casos, incluyendo las negativas esperadas. También tenga en cuenta el tiempo de respuesta y el costo operativo. La mejor configuración es la que alcanza sus criterios de calidad en preguntas útiles. Primero prepare un Base documental masterizada En lugar de buscar una partitura espectacular en algunas manifestaciones.