Per valutare uno RAG, una ricerca documentaria separata dalla redazione. Un passaggio rilevante mal riformulato e una risposta fluida basata sul documento sbagliato sono due difetti diversi. Costruisci un gioco di benchmark, quindi esamina le fonti recuperate e le rivendicazioni prodotte.
Costruisci un gioco di domande realistico
Accetta richieste frequenti, formulazioni imprecise e alcune domande al di fuori dell'ambito. Per ciascuno, scrivi la risposta prevista con i passaggi che la giustificano. Far convalidare questo riferimento da una persona che conosce l'argomento. Mantieni le domande indipendenti dalle impostazioni del sistema per evitare di ottimizzare solo gli esempi già utilizzati durante lo sviluppo.
Controlla ciò che è stato trovato
Prima di notare lo stile della risposta, apri i documenti recuperati. Contengono effettivamente le informazioni necessarie? Viene utilizzata la versione corretta? Una condizione importante è stata interrotta durante l'affettatura? Errori di classificazione: documento assente dal corpus, ricerca insufficiente, passaggio troppo ampio o versione obsoleta. Questa analisi indica quale parte della stringa modificare.
Una piccola verifica di accettazione che rivela diverse famiglie di errori
La seguente griglia descrive casi dimostrativi, senza risultati misurati su un sistema client. Ogni domanda deve avere un riferimento convalidato prima del test. Il riferimento può specificare che non dovresti rispondere. Ciò impedisce che un modello venga ricompensato per aver dato una risposta plausibile a una domanda che il corpus non risolve.
| Domanda di prova | In attesa di controllare | Mancata classificazione |
|---|---|---|
| Cosa include questa offerta? | Risposta limitata all'ambito del documento corrente | Servizio aggiunto senza fonte |
| Questa condizione si applica a tutte le formule? | eccezione o differenza nell'ambito mantenuto | Regola generale presentata senza la sua condizione |
| Qual è il prezzo di un'opzione non documentata? | Mancanza di riconoscimento e orientamento utile | Importo inventato |
| Cosa dice una vecchia procedura ritirata? | Mancanza di restituzione come regola attuale | versione obsoleta ancora recuperata |
| Posso consultare questo documento riservato? | Rispetto dei diritti degli utenti | passaggio non autorizzato esposto nella risposta |
Per ogni errore, conservare la domanda, i documenti recuperati, la risposta prodotta e la decisione del revisore. Se più difetti coesistono, scrivili separatamente. Una fonte pertinente può essere accompagnata da una frase inventata; Sarebbe fuorviante riassumere questo caso con "fonte recuperata, quindi successo". L'affermazione dovrebbe anche consentire a un'altra persona di capire perché la risposta è stata accettata o rifiutata.
valutare l'affermazione della risposta per affermazione
Verifica accuratezza, completezza, fedeltà alle fonti e riconoscimento dell'incertezza. Una citazione cliccabile non è sufficiente se il passaggio citato non supporta la frase. Un valutatore automatico può aiutare a ordinare i risultati, ma il suo giudizio deve essere controllato. Hugging Face presenta un approccio di valutazione con domande, risposte di riferimento e criteri espliciti; Adattalo al rischio della tua attività.
Esempio fittizio: un periodo mal ripreso
Il documento distingue tra preparazione e consegna. La procedura guidata non aggiunge i passaggi e annuncia un ritardo generale errato. La ricerca ha trovato il passaggio giusto, ma la risposta rimane falsa. La patch riguarda la formulazione e il controllo del calcolo, non necessariamente sulla base del vettore. Al contrario, una fonte obsoleta richiede prima una correzione documentaria.
Usa le misurazioni senza nascondere casi importanti
Due semplici misure possono aiutare il pilota: la proporzione di domande per le quali viene recuperato almeno un passaggio atteso, quindi la proporzione di risposte accettate secondo la tua griglia. Si tratta di indicatori proposti per questo protocollo, non una definizione universale di richiamo o un punteggio di qualità ufficiale per gli RAG. Pubblica il loro denominatore e mantieni le categorie di domande separate. Un buon risultato complessivo può mascherare il fallimento di tutti i casi senza risposta.
- Congela una serie di domande e una versione del corpus. Riserva un altro batch per verificare che le impostazioni non funzionino solo sugli esempi già esaminati.
- Fai rileggere parte delle risposte da due persone. I disaccordi indicano spesso che la griglia o il riferimento mancano di precisione.
- Se stai utilizzando un modello di valutatore, confronta le sue decisioni con questa correzione di bozze. Una valutazione automatica non sostituisce la prova nel documento.
- Confronta solo un cambiamento importante alla volta e archivia gli output. Dare priorità al fatto che nessuna regressione influisca sugli accessi o sui casi al di fuori del perimetro.
Le Hugging Face — Valutazione di RAG Presenta un approccio di riferimento con riferimenti. La nostra griglia completa questo approccio con decisioni adattate al contenuto di un sito e dei suoi utenti. Per un assistente pubblico, una risposta attenta e verificabile può essere preferibile a una risposta più completa che aggiunge una condizione mancante. Le passaggio a un essere umano deve essere parte dei risultati autorizzati.
Se i difetti sembrano essere correlati alla scrittura piuttosto che alla ricerca documentaria, il Protocollo di confronto LLM a attività aziendali Aiuta a preparare una prova mirata. Mantieni le stesse fonti e domande per non confondere le cause.
Confronta un singolo cambiamento alla volta
Archivia la configurazione, il corpus, le domande e i risultati prima di ogni test. Quindi modificare un parametro, quindi riavviare gli stessi casi, inclusi i rifiuti previsti. Nota anche il tempo di risposta e i costi operativi. La migliore configurazione è quella che raggiunge i tuoi criteri di qualità su domande utili. Per prima cosa prepara un Base documentaria masterizzata Piuttosto che cercare un punteggio spettacolare in alcune dimostrazioni.