Para avaliar um RAG, separa a pesquisa documental da equipe editorial. Uma passagem relevante mal reformulada e uma resposta fluida com base no documento errado são dois defeitos diferentes. Crie um jogo de benchmark e examine as fontes recuperadas e as alegações produzidas.
Construa um jogo de perguntas realista
Aceite solicitações frequentes, formulações imprecisas e algumas perguntas fora do escopo. Para cada um, escreva a resposta esperada com as passagens que a justificam. Tenha essa referência validada por uma pessoa que conhece o assunto. Mantenha as perguntas independentes das configurações do sistema para evitar otimizar apenas os exemplos usados durante o desenvolvimento.
Controle o que foi encontrado
Antes de observar o estilo da resposta, abra os documentos recuperados. Eles realmente contêm as informações necessárias? A versão correta é usada? Foi cortada uma condição importante ao cortar? Classificar erros: documento ausente do corpus, pesquisa insuficiente, passagem muito ampla ou versão obsoleta. Esta análise indica qual parte da string deve ser modificada.
Uma pequena teste de aceitação que revela várias famílias de erros
A grade a seguir descreve os casos de demonstração, sem resultados medidos em um sistema cliente. Cada pergunta deve ter uma referência validada antes do teste. A referência pode especificar que você não deve responder. Isso impede que um modelo seja recompensado por dar uma resposta plausível a uma pergunta que o corpus não resolve.
| Pergunta de teste | esperando para verificar | Falha ao classificar |
|---|---|---|
| O que essa oferta inclui? | Resposta limitada ao escopo do documento atual | Adicionado serviço sem fonte |
| Essa condição se aplica a todas as fórmulas? | Exceção ou diferença de escopo mantida | Regra geral apresentada sem sua condição |
| Qual é o preço de uma opção não documentada? | Falta reconhecimento e orientação útil | Quantidade inventada |
| O que diz um antigo procedimento retirado? | Falta de restituição como regra atual | Versão obsoleta ainda recuperada |
| Posso consultar este documento reservado? | Respeito aos direitos do usuário | passagem não autorizada exposta na resposta |
Para cada falha, mantenha a pergunta, os documentos recuperados, a resposta produzida e a decisão do revisor. Se vários defeitos coexistirem, anote-os separadamente. Uma fonte relevante pode ser acompanhada por uma frase inventada; Seria enganoso resumir este caso por “fonte recuperada, portanto, sucesso”. A declaração também deve permitir que outra pessoa entenda por que a resposta foi aceita ou recusada.
Avalie a afirmação da resposta por afirmação
Verifique a precisão, completude, fidelidade às fontes e reconhecimento de incerteza. Uma citação clicável não é suficiente se a passagem citada não suportar a frase. Um avaliador automático pode ajudar a classificar os resultados, mas seu julgamento precisa ser controlado. Hugging Face apresenta uma abordagem de avaliação com perguntas, respostas de referência e critérios explícitos; Adapte-o ao risco do seu negócio.
Exemplo fictício: um período mal retomado
O documento distingue entre preparação e entrega. O assistente não soma as etapas e anuncia um atraso geral incorreto. A pesquisa encontrou a passagem certa, mas a resposta permanece falsa. O patch é sobre formulação e controle de cálculo, não necessariamente na base vetorial. Por outro lado, uma fonte desatualizada primeiro requer uma correção documental.
Use medidas sem esconder casos importantes
Duas medidas simples podem ajudar o piloto: a proporção de questões para as quais pelo menos uma passagem esperada é recuperada, então a proporção de respostas aceitas de acordo com sua grade. Esses são indicadores propostos para este protocolo, não uma definição universal de recall ou um índice de qualidade oficial para RAGs. Publique seu denominador e mantenha as categorias de perguntas separadas. Um bom resultado geral pode mascarar a falha de todos os casos sem resposta.
- Congele um lote de perguntas e uma versão do corpus. Reserve outro lote para verificar se as configurações não funcionam apenas nos exemplos já examinados.
- Faça parte das respostas lidas novamente por duas pessoas. As discordâncias geralmente indicam que a grade ou a referência carecem de precisão.
- Se você estiver usando um modelo de avaliador, confronte suas decisões com essa revisão. Uma avaliação automática não substitui a prova no documento.
- Compare apenas uma mudança importante de cada vez e arquive as saídas. Priorize que nenhuma regressão afeta os acessos ou casos fora do perímetro.
Os Hugging Face — Avaliação de RAG Apresenta uma abordagem de referência com referências. Nossa grade completa essa abordagem com decisões adaptadas ao conteúdo de um site e de seus usuários. Para um assistente público, uma resposta cuidadosa e verificável pode ser preferível a uma resposta mais abrangente que adiciona uma condição ausente. Os transição para um ser humano Deve fazer parte dos resultados autorizados.
Se os defeitos parecem estar relacionados com a escrita e não com a pesquisa documental, o Protocolo de comparação LLM com tarefas de negócios Ajuda a preparar um teste direcionado. Mantenha as mesmas fontes e perguntas para não confundir as causas.
Compare uma única alteração por vez
Configuração do arquivo, corpus, perguntas e resultados antes de cada teste. Em seguida, modifique um parâmetro e reinicie os mesmos casos, incluindo as recusas esperadas. Observe também o tempo de resposta e o custo operacional. A melhor configuração é aquela que atinge seus critérios de qualidade em questões úteis. Primeiro prepare um Base de documentário dominado Em vez de procurar uma pontuação espetacular em algumas demonstrações.