RAG-järjestelmää arvioitaessa tiedonhaku ja vastauksen tuottaminen on erotettava toisistaan. Oikean tekstijakson virheellinen tulkinta ja väärään asiakirjaan perustuva sujuva vastaus ovat eri virheitä. Laadi vertailukysymykset ja tarkista sekä haetut lähteet että vastauksen väitteet.
Rakenna realistinen kysymyspeli
Ota vastaan usein pyyntöjä, epätarkkoja muotoiluja ja muutamia kysymyksiä, jotka eivät kuulu soveltamisalaan. Kirjoita jokaiselle odotettu vastaus kohdilla, jotka oikeuttavat sen. Pyydä aiheen tunteva henkilö vahvistamaan tämän viittauksen. Pidä kysymykset riippumattomina järjestelmäasetuksista, jotta vain kehityksen aikana käytettyjen esimerkkien optimointi.
hallita mitä löydettiin
Ennen kuin huomaat vastauksen tyylin, avaa palautetut asiakirjat. Sisältävätkö ne todella tarvittavat tiedot? Onko oikeaa versiota käytetty? Leikattiinko tärkeä ehto pois viipaloinnin aikana? Luokittele virheet: asiakirja puuttuu korpuksesta, riittämätön haku, liian leveä kulku tai vanhentunut versio. Tämä analyysi osoittaa, mitä merkkijonon osaa on muutettava.
pieni hyväksymistesti, joka paljastaa useita virheperheitä
Seuraavassa ruudukossa kuvataan esittelytapauksia ilman mitattuja tuloksia asiakasjärjestelmässä. Jokaisella kysymyksellä on oltava validoitu viittaus ennen testiä. viitteessä voidaan määrittää, että sinun ei pitäisi vastata. Tämä estää mallia saamasta palkkiota uskottavan vastauksen antamisesta kysymykseen, jota korpus ei ratkaise.
| koekysymys | Tarkistamista odotellaan | luokittelun epäonnistuminen |
|---|---|---|
| Mitä tämä tarjous sisältää? | Rajoitettu vastaus nykyisen asiakirjan soveltamisalaan | Lisätty palvelu ilman lähdettä |
| Koskeeko tämä ehto kaikkia kaavoja? | Poikkeus tai ero laajuudessa säilytetty | Yleissääntö esitetään ilman ehtoaan |
| Mikä on dokumentoimattoman vaihtoehdon hinta? | Tunnustuksen ja hyödyllisen suuntautumisen puute | keksitty määrä |
| Mitä vanha menettely vedetään? | hyvityksen puute nykyisenä sääntönä | Vanhentunut versio edelleen palautunut |
| Voinko tutustua tähän varattuun asiakirjaan? | Käyttäjäoikeuksien kunnioittaminen | luvaton kulku paljastuu vastauksessa |
Säilytä jokaisesta epäonnistumisesta kysymys, haettu asiakirjat, tuotettu vastaus ja arvioijan päätös. Jos useita vikoja esiintyy rinnakkain, kirjoita ne muistiin erikseen. Asiaankuuluvaan lähteeseen voi liittyä keksitty lause; Olisi harhaanjohtavaa tehdä yhteenveto tästä tapauksesta "palautetun lähteen, siis menestyksen" perusteella. Lausunnon pitäisi myös antaa toisen henkilön ymmärtää, miksi vastaus hyväksyttiin tai evättiin.
Arvioi vastauksen vahvistus vahvistuksella
Tarkista tarkkuus, täydellisyys, tarkkuus lähteille ja epävarmuuden tunnistaminen. Napsautettava lainaus ei riitä, jos lainattu kohta ei tue lausetta. Automaattinen arvioija voi auttaa lajittelemaan tuloksia, mutta sen harkintaa on valvottava. Hugging Face esittelee arviointilähestymistavan, jossa on kysymyksiä, viitevastauksia ja selkeitä kriteerejä; Mukauta se yrityksesi riskiin.
kuvitteellinen esimerkki: huonosti jatkunut aika
Asiakirja erottaa valmistelun ja toimituksen. Ohjattu toiminto ei laske vaiheita yhteen ja ilmoittaa virheellisestä kokonaisviiveestä. Tutkimukset ovat löytäneet oikean kohdan, mutta vastaus on edelleen väärä. Korjaus koskee formulaatio- ja laskentaohjausta, ei välttämättä vektoripohjalta. Päinvastoin, vanhentunut lähde vaatii ensin dokumentaarisen korjauksen.
Käytä mittoja piilottamatta tärkeitä tapauksia
Kaksi yksinkertaista toimenpidettä voi auttaa pilottia: niiden kysymysten osuus, joista vähintään yksi odotettu kohta saadaan takaisin, ja sitten ruudukon mukaan hyväksyttyjen vastausten osuus. Nämä ovat tälle protokollalle ehdotettuja indikaattoreita, eivät yleismaailmallista takaisinkutsun määritelmää tai RAG:iden virallista laatupisteitä. Julkaise niiden nimittäjä ja pidä kysymysluokat erillään. Hyvä kokonaistulos voi peittää kaikkien vastaamattomien tapausten epäonnistumisen.
- Jäädytä erä kysymyksiä ja versio korpuksesta. Varaa toinen erä varmistaaksesi, että asetukset eivät toimi vain jo tutkituissa esimerkeissä.
- Lue osa vastauksista uudelleen kahdelta henkilöltä. Erimielisyydet osoittavat usein, että ruudukko tai viittaus ei ole tarkkuus.
- Jos käytät Evaluator-mallia, tee sen päätökset tämän oikolukemisen kanssa. Automaattinen arviointi ei korvaa asiakirjassa olevaa todistetta.
- Vertaa vain yhtä tärkeää muutosta kerrallaan ja arkistoi ulostulot. priorisoida, että mikään regressio ei vaikuta pääsyyn tai tapauksiin kehän ulkopuolella.
Hugging Face — RAG-järjestelmän arviointi esittää vertailulähestymistavan viitteineen. Gridmme täydentää tämän lähestymistavan päätöksillä, jotka on mukautettu sivuston ja sen käyttäjien sisältöön. Julkiselle avustajalle huolellinen ja todennettavissa oleva vastaus voi olla parempi kuin kattavampi vastaus, joka lisää puuttuvan tilan. Sitä siirtyminen ihmiseksi on oltava osa hyväksyttyjä tuloksia.
Jos puutteet näyttävät liittyvän pikemminkin kirjoitukseen kuin dokumenttitutkimukseen, LLM-vertailuprotokolla liiketoimintatehtäviin Auttaa valmistelemaan kohdennettua koetta. Säilytä samat lähteet ja kysymykset, jotta et sekoittaisi syitä.
Vertaa yhtä muutosta kerrallaan
Arkistoi asetukset, korpus, kysymykset ja tulokset ennen jokaista testiä. Muokkaa sitten parametria ja käynnistä sitten samat tapaukset uudelleen, mukaan lukien odotetut kieltäytymiset. Huomaa myös vasteaika ja käyttökustannukset. Paras kokoonpano on se, joka saavuttaa laatukriteerisi hyödyllisissä kysymyksissä. Valmista ensin a Masteroitu dokumenttipohja Sen sijaan, että etsisit upeaa tulosta muutamassa esittelyssä.