Om een RAG te evalueren, apart documentair onderzoek van de redactie. Een slecht geherformuleerde relevante passage en een vloeiende reactie op basis van het verkeerde document zijn twee verschillende defecten. Bouw een benchmarkspel en onderzoek vervolgens de opgehaalde bronnen en de geproduceerde claims.
Bouw een realistisch vragenspel
Neem frequente verzoeken, onnauwkeurige formuleringen en een paar vragen buiten het bereik. Schrijf voor elk het verwachte antwoord met de passages die het rechtvaardigen. Laat deze referentie valideren door een persoon die het onderwerp kent. Houd vragen onafhankelijk van de systeeminstellingen om te voorkomen dat alleen de voorbeelden die tijdens de ontwikkeling zijn gebruikt, worden geoptimaliseerd.
controleer wat er is gevonden
Open de herstelde documenten voordat u de stijl van het antwoord opmerkt. Bevatten ze eigenlijk de nodige informatie? Wordt de juiste versie gebruikt? Was een belangrijke voorwaarde afgesneden bij het snijden? Classificeer fouten: document afwezig in het corpus, onvoldoende zoeken, te brede passage of verouderde versie. Deze analyse geeft aan welk deel van de tekenreeks moet worden gewijzigd.
Een klein acceptatietest dat verschillende families van fouten onthult
Het volgende raster beschrijft demonstratiegevallen, zonder gemeten resultaten op een clientsysteem. Elke vraag moet vóór de test een gevalideerde referentie hebben. De referentie kan aangeven dat u niet moet antwoorden. Dit voorkomt dat een model wordt beloond voor het geven van een plausibel antwoord op een vraag die het corpus niet oplost.
| proefvraag | Wachten om te controleren | Niet classificeren |
|---|---|---|
| Wat houdt deze aanbieding in? | Beperkte reactie op de reikwijdte van het huidige document | Service toegevoegd zonder bron |
| Geldt deze voorwaarde op alle formules? | Uitzondering of verschil in reikwijdte gehouden | Algemene regel gepresenteerd zonder voorwaarde |
| Wat is de prijs van een ongedocumenteerde optie? | lack recognition and useful orientation | uitgevonden bedrag |
| Wat zegt een oude procedure ingetrokken? | Gebrek aan restitutie als huidige regel | Verouderde versie nog steeds hersteld |
| Kan ik dit gereserveerde document raadplegen? | Respect voor gebruikersrechten | ongeoorloofde passage blootgesteld in de reactie |
Voor elke mislukking, vraag bijhouden, documenten ophalen, antwoord produceren en de beslissing van de recensent. Als er meerdere defecten naast elkaar bestaan, schrijf ze dan apart op. Een relevante bron kan vergezeld gaan van een verzonnen zin; Het zou misleidend zijn om deze zaak samen te vatten met "herstelde bron, dus succes". De verklaring moet ook een andere persoon in staat stellen te begrijpen waarom het antwoord werd geaccepteerd of geweigerd.
Beoordeel de responsbevestiging door bevestiging
Controleer nauwkeurigheid, volledigheid, trouw aan bronnen en erkenning van onzekerheid. Een klikbare quote is niet genoeg als de geciteerde passage de zin niet ondersteunt. Een automatische evaluator kan helpen de resultaten te sorteren, maar het oordeel moet worden gecontroleerd. Hugging Face presenteert een evaluatiebenadering met vragen, referentieantwoorden en expliciete criteria; Pas het aan het risico van uw bedrijf aan.
Fictief voorbeeld: een slecht hervatte periode
Het document maakt onderscheid tussen voorbereiding en levering. De wizard telt de stappen niet op en kondigt een onjuiste algehele vertraging aan. Onderzoek heeft de juiste passage gevonden, maar het antwoord blijft onjuist. De patch gaat over formulering en berekeningscontrole, niet noodzakelijk op de vectorbasis. Omgekeerd vereist een verouderde bron eerst een documentaire correctie.
Gebruik metingen zonder belangrijke gevallen te verbergen
Twee eenvoudige maatregelen kunnen de pilot helpen: het aantal vragen waarvoor ten minste één verwachte passage wordt teruggevonden, en vervolgens het aandeel antwoorden dat volgens uw raster wordt geaccepteerd. Dit zijn indicatoren die voor dit protocol worden voorgesteld, geen universele definitie van terugroepactie of een officiële kwaliteitsscore voor RAG's. Publiceer hun noemer en houd de vraagcategorieën gescheiden. Een goed algemeen resultaat kan het falen van alle onbeantwoorde gevallen maskeren.
- Bevries een reeks vragen en een versie van het corpus. Reserveer een andere batch om te verifiëren dat de instellingen niet alleen werken op de reeds onderzochte voorbeelden.
- Laat een deel van de antwoorden opnieuw door twee mensen lezen. Onenigheid geeft vaak aan dat het raster of de referentie precisie mist.
- Als u een evaluatormodel gebruikt, confronteer dan de beslissingen met deze proeflezen. Een automatische beoordeling vervangt geen bewijs in het document.
- Vergelijk slechts één belangrijke wijziging tegelijk en archiveer de outputs. Geef prioriteit aan dat geen enkele regressie van invloed is op toegangen of gevallen buiten de perimeter.
De Hugging Face — RAG evalueren presenteert een benchmarkbenadering met referenties. Ons raster voltooit deze aanpak met beslissingen die zijn aangepast aan de inhoud van een site en zijn gebruikers. Voor een openbare assistent kan een zorgvuldige en verifieerbare reactie de voorkeur hebben boven een uitgebreidere reactie die een ontbrekende voorwaarde toevoegt. De overgang naar een mens moet deel uitmaken van de geautoriseerde resultaten.
Als de gebreken eerder gerelateerd lijken te zijn aan het schrijven dan aan het documentaire onderzoek, dan LLM-vergelijkingsprotocol met zakelijke taken Helpt bij het voorbereiden van een gerichte proef. Bewaar dezelfde bronnen en vragen om de oorzaken niet te verwarren.
Vergelijk een enkele wijziging tegelijk
Archief setup, corpus, vragen en resultaten voor elke test. Wijzig vervolgens een parameter en start vervolgens dezelfde gevallen opnieuw op, inclusief de verwachte weigeringen. Let ook op responstijd en bedrijfskosten. De beste configuratie is degene die uw kwaliteitscriteria bereikt voor nuttige vragen. Bereid eerst een Beheerste documentaire basis In plaats van te zoeken naar een spectaculaire score op een paar demonstraties.