Arvioitu lukuaika : 4 min · Julkaistu
Määrittele tehtävä ja sen vaadittu laatu
Valitse tietty tehtävä: ehdota otsikoita, luokittele kyselyitä, käännä sivu tai vastaus dokumentaatiosta. Määrittele odotettu tulos ja mikä olisi merkittävä virhe. Sisäisellä kirjoitusavulla on erilaisia seurauksia kuin julkisella vastauksella hintaan, ajoitukseen tai sopimusehtoihin.
NIST AI Risk Management Framework ja sen generatiivi-AI-profiili tarjoaa referenssejä arvioinnin järjestämiseen. He eivät hyväksy tiettyä tuotetta. Kriteereidesi tulee yhdistää riskit tehtävään, yleisöön ja sen tuotoksen käyttöön.
- tehtävä ja yleisö.
- todennettavissa oleva tulos.
- hyväksyttävät ja estävät virheet.
- päätöksen omistaja.
Tarkista tiedot ja poistumispolku
Listaa palvelulle lähetetyt tiedot, henkilöt, jotka voivat käyttää niitä, säilytyssäännöt ja ilmoitetut käyttöehdot. Tarkista nämä toimittajan asiakirjoista ja sopimuksesta. Älä oleta, että jokaisella yhden yrityksen tuotteella on samat ehdot. Kuluttajatili, API ja yrityssuunnitelma voivat vaihdella.
Valmista anonymisoituja tai selkeästi merkittyjä synteettisiä esimerkkejä ensimmäisiä kokeita varten. Määrittele, mitä voidaan viedä, miten vaihtaa toimittajia ja mikä tehtävä pysyy mahdollisena katkoksen aikana. Tallenna ohjeet, lähteet ja arvioinnit, jotta seuraava projektiryhmä ymmärtää ne.
- Testaukseen sallitut tiedot.
- tarjouskohtaiset ehdot.
- pääsy, säilyttäminen ja vienti.
- Manuaalinen vara.
rakentaa pieni mutta vaativa testisarja
Kerää edustavia ja vaikeita tapauksia: puuttuvat tiedot, ristiriitaiset lähteet, epäselvyys, toinen kieli ja yritykset kääntää ohjeita. Määritä viitevastaukset tai hyväksymiskriteerit ennen testausta. Työkalu, joka kieltäytyy vastaamasta, kun tietoa puuttuu, voi olla hyödyllisempi kuin työkalu, joka tuottaa vakuuttavan keksinnön.
Mittaa tarkkuus, puutteet, viittaukset, latenssi ja kustannukset erikseen valitussa skenaariossa. Tarkista useita tuotoksia, koska sukupolvi voi vaihdella. Säilytä malli tai tarjousversio, kun tunnet, hyödylliset asetukset, testipäivämäärä ja esimerkit. Yhden kokonaispistemäärän ei pitäisi peittää epäonnistumista olennaisessa tehtävässä.
Kuvitteellinen pyyntöjen luokitteluharjoitus, jonka tuloksia ei liitetä mihinkään työkaluun: sadasta vertailutapauksesta 10 vaatii ihmisen tarkistuksen ja 90 ei. Sääntö merkitsee 8: niistä 6 tarvitsee tarkistuksen (TP) ja 2 on vääriä hälytyksiä (FP). Se ohittaa 4 tarkistettavaa tapausta (FN) ja jättää oikein pois muut 88 (TN). Oikeiden luokitusten osuus, accuracy, on (6 + 88) / 100 = 94 %. Hälytysten täsmällisyys, precision, on kuitenkin 6 / 8 = 75 % ja saanti, recall, vain 6 / 10 = 60 %.
Mittarit vastaavat eri kysymyksiin: oikeat päätökset, aiheelliset hälytykset ja löydetyt kohdetapaukset. Googlen luokittelukurssi selittää nimittäjät; korkea accuracy voi peittää ohitettuja harvinaisia tapauksia. Määritä positiivinen luokka, mahdollinen kynnys ja vertailujoukko ennen vertailua sekä säilytä neljä lukumäärää. Nollanimittäjä tekee murtoluvusta määrittelemättömän; älä muuta sitä mielivaltaisesti onnistumiseksi. Luokittelumittarit eivät yksin mittaa tuotetun tekstin tosiasiallista laatua tai yleistä luotettavuutta.
- Edustaja- ja reunakotelot.
- Kriteerit sovittiin ennen testausta.
- virheet dokumentoitu per esimerkki.
- testiversio ja päivämäärä.
Vieritä taulukkoa vaakasuunnassa nähdäksesi kaikki sarakkeet. Siirrä näppäimistöllä kohdistus taulukkoon ja käytä nuolinäppäimiä.
| Mittari | Lasku kuvitteellisella joukolla | Nimittäjän merkitys |
|---|---|---|
| Oikeiden luokitusten osuus (accuracy) | (6 + 88) / 100 = 94 % | Kaikki oikeat ja väärät luokitukset |
| Hälytysten täsmällisyys (precision) | 6 / (6 + 2) = 75 % | Kahdeksan merkittyä tapausta |
| Saanti (recall) | 6 / (6 + 4) = 60 % | Kymmenen tarkistusta vaatinutta tapausta |
| Ohitetut tarkistustapaukset (FN) | FN = 4 | Neljä todellista positiivista ilman hälytystä |
rajoittaa käyttöönottoa ja arvioida uudelleen ajan myötä
Aloita tarkastetuilla tuloksilla. Julkisen avustajan osalta rajoita mahdollisia toimia, anna lähteet saataville ja anna ihmiskontakti, kun pyyntö jää sen tehtävän ulkopuolelle. Testaa toipuminen katkosten, virheellisten vastausten ja asiakirjojen muutosten jälkeen. Tarkkaile tuloksia säilyttämättä tarpeettomasti henkilötietoja.
Toista testit, kun mallit, ohjeet, dokumentaatio tai ominaisuudet muuttuvat. Sitä lähde-todennusopas Tukee toimituksellista arvostelua. SitäAI-resurssihakemisto Tarjoaa virallisia lähtökohtia palvelujen vertailuun ilman, että ne takaavat niiden tuloksia.
viiteasiakirjat
- NIST AI Risk Management Framework · Lähde tarkistettu
- Google ML : Accuracy, recall and precision · Lähde tarkistettu
Sisältö päivitetty
