Um einen RAG zu bewerten, trennen Sie die Dokumentarforschung von der Redaktion. Eine schlecht umformulierte relevante Passage und eine auf dem falschen Dokument basierende Flüssigkeitsantwort sind zwei verschiedene Mängel. Erstellen Sie ein Benchmark-Spiel und untersuchen Sie dann die abgerufenen Quellen und die erstellten Behauptungen.
Bauen Sie ein realistisches Fragespiel
Nehmen Sie häufige Anfragen, ungenaue Formulierungen und einige Fragen außerhalb des Geltungsbereichs an. Schreiben Sie für jede die erwartete Antwort mit den Passagen, die sie rechtfertigen. Lassen Sie diese Referenz von einer Person validieren, die das Thema kennt. Behalten Sie Fragen unabhängig von den Systemeinstellungen, um nur die bereits während der Entwicklung verwendeten Beispiele zu optimieren.
Kontrollieren Sie, was gefunden wurde
Bevor Sie den Stil der Antwort notieren, öffnen Sie die wiederhergestellten Dokumente. Enthalten sie tatsächlich die notwendigen Informationen? Wird die richtige Version verwendet? Wurde beim Schneiden eine wichtige Bedingung abgeschnitten? Fehler klassifizieren: Dokument fehlt im Korpus, unzureichende Suche, zu weite Passage oder veraltete Version. Diese Analyse gibt an, welcher Teil der Zeichenfolge geändert werden soll.
Ein kleines Abnahmetest, das mehrere Fehlerfamilien aufdeckt
Das folgende Raster beschreibt Demonstrationsfälle ohne Messergebnisse auf einem Clientsystem. Jede Frage muss vor dem Test eine validierte Referenz haben. Die Referenz kann angeben, dass Sie nicht antworten sollten. Dies verhindert, dass ein Modell dafür belohnt wird, dass es eine plausible Antwort auf eine Frage gibt, die der Korpus nicht löst.
| Testfrage | Warten auf Überprüfung | Nicht klassifizieren |
|---|---|---|
| Was beinhaltet dieses Angebot? | Begrenzte Reaktion auf den Umfang des aktuellen Dokuments | Service ohne Quelle hinzugefügt |
| Gilt diese Bedingung für alle Formeln? | Ausnahme oder Umfangsunterschied | Allgemeine Regel ohne ihre Bedingung präsentiert |
| Was ist der Preis für eine undokumentierte Option? | Mangel an Anerkennung und nützlicher Orientierung | erfundener Betrag |
| Was sagt ein altes Verfahren aus? | Mangel an Rückerstattung als derzeitige Regel | veraltete Version noch wiederhergestellt |
| Kann ich dieses reservierte Dokument einsehen? | Achtung der Nutzerrechte | Nicht autorisierte Passage in der Antwort ausgesetzt |
Bewahren Sie für jeden Fehler die Frage, die abgerufenen Dokumente, die erstellten Antworten und die Entscheidung des Prüfers auf. Wenn mehrere Mängel nebeneinander bestehen, notieren Sie diese separat. Eine relevante Quelle kann von einem erfundenen Satz begleitet werden; Es wäre irreführend, diesen Fall durch „wiederhergestellte Quelle, daher Erfolg“ zusammenzufassen. Die Erklärung sollte auch einer anderen Person ermöglichen, zu verstehen, warum die Antwort akzeptiert oder abgelehnt wurde.
Beurteilen Sie die Antwortbestätigung durch Bestätigung
Prüfen Sie die Genauigkeit, Vollständigkeit, Quellentreue und das Erkennen von Unsicherheit. Ein anklickbares Zitat reicht nicht aus, wenn die zitierte Passage den Satz nicht unterstützt. Ein automatischer Evaluator kann helfen, die Ergebnisse zu sortieren, aber sein Urteil muss kontrolliert werden. Hugging Face präsentiert einen Bewertungsansatz mit Fragen, Referenzantworten und expliziten Kriterien. Passen Sie es an das Risiko Ihres Unternehmens an.
Fiktives Beispiel: eine schlecht wieder aufgenommene Zeit
Das Dokument unterscheidet zwischen Vorbereitung und Lieferung. Der Assistent addiert die Schritte nicht und kündigt eine falsche Gesamtverzögerung an. Die Forschung hat die richtige Passage gefunden, aber die Antwort bleibt falsch. Der Patch befasst sich mit der Formulierung und Berechnungskontrolle, nicht unbedingt auf der Vektorbasis. Umgekehrt erfordert eine veraltete Quelle zunächst eine dokumentarische Korrektur.
Verwenden Sie Messungen, ohne wichtige Fälle zu verbergen
Zwei einfache Maßnahmen können dem Piloten helfen: Der Anteil der Fragen, für die mindestens eine erwartete Passage wiederhergestellt wird, dann der Anteil der Antworten, die entsprechend Ihrem Raster akzeptiert werden. Dies sind Indikatoren, die für dieses Protokoll vorgeschlagen werden, nicht eine universelle Definition des Rückrufs oder ein offizieller Qualitätsfaktor für RAGs. Veröffentlichen Sie ihren Nenner und halten Sie die Fragekategorien getrennt. Ein gutes Gesamtergebnis kann den Ausfall aller unbeantworteten Fälle maskieren.
- Frieren Sie eine Reihe von Fragen und eine Version des Korpus ein. Reservieren Sie einen weiteren Stapel, um sicherzustellen, dass die Einstellungen nicht nur an den bereits untersuchten Beispielen funktionieren.
- Lassen Sie einen Teil der Antworten von zwei Personen erneut lesen. Meinungsverschiedenheiten weisen oft darauf hin, dass dem Raster oder der Referenz keine Genauigkeit fehlt.
- Wenn Sie ein Evaluatormodell verwenden, konfrontieren Sie seine Entscheidungen mit diesem Korrekturlesen. Eine automatische Bewertung ersetzt den Nachweis im Dokument nicht.
- Vergleichen Sie jeweils nur eine wichtige Änderung und archivieren Sie die Ausgänge. Priorisieren Sie, dass keine Regression Zugriffe oder Fälle außerhalb des Umfangs betrifft.
Die Hugging Face — RAG evaluieren präsentiert einen Benchmark-Ansatz mit Referenzen. Unser Grid vervollständigt diesen Ansatz mit Entscheidungen, die an den Inhalt einer Website und ihrer Benutzer angepasst sind. Für einen öffentlichen Assistenten kann eine sorgfältige und überprüfbare Antwort einer umfassenderen Antwort vorzuziehen sein, die eine fehlende Bedingung hinzufügt. Die Übergang zu einem Menschen müssen Teil der autorisierten Ergebnisse sein.
Wenn die Mängel eher mit der Schrift als mit der dokumentarischen Forschung zusammenhängen LLM-Vergleichsprotokoll zu Geschäftsaufgaben Hilft bei der Vorbereitung eines gezielten Versuchs. Behalten Sie die gleichen Quellen und Fragen, um die Ursachen nicht zu verwechseln.
Vergleichen Sie jeweils eine einzelne Änderung
Archiv-Setup, Korpus, Fragen und Ergebnisse vor jedem Test. Ändern Sie dann einen Parameter und starten Sie dann die gleichen Fälle neu, einschließlich der erwarteten Ablehnungen. Beachten Sie auch die Reaktionszeit und die Betriebskosten. Die beste Konfiguration ist diejenige, die Ihre Qualitätskriterien bei nützlichen Fragen erreicht. Bereiten Sie zuerst eine vor Beherrschte dokumentarische Basis Anstatt bei einigen Demonstrationen eine spektakuläre Partitur zu suchen.