Een snelle injectie kan worden verborgen in een document dat een assistent raadpleegt: de tekst probeert het zijn taak te laten opgeven of informatie vrij te geven. Behandel herstelde inhoud als onbetrouwbare gegevens en beperk acties die het systeem kan uitvoeren.
Identificeer de grens van vertrouwen
Een webpagina, PDF of ontvangen bericht heeft niet de bevoegdheid voor de instructies van uw aanvraag. Een inhoud die het tegenovergestelde bevestigt, moet een te analyseren bron blijven. OWASP identificeert promptinjectie tussen de risico's van taalmodeltoepassingen. Een eenvoudige instructie die het model uitnodigt om de aanvallen te negeren, vormt geen voldoende technische scheiding.
Verminder mogelijke gevolgen
Een documentwizard hoeft over het algemeen geen berichten te kunnen verzenden, bestanden te bewerken of alle mappen van het bedrijf te bekijken. Beperk de tools en toegang tot de nuttige omtrek. Scheid de documentzoekopdracht van de uitvoering van een actie. Wanneer er een gevoelige actie bestaat, laat dan de parameters worden gevalideerd in een gecontroleerde interface, met regels buiten de gegenereerde tekst.
Bouw een testscenario zonder gevoelige gegevens
Werk in een geplande acceptatietestomgeving, met een corpus en demo-accounts. De test mag niet om een echt lek vragen om te bewijzen dat het risico bestaat. Plaats in een dummydocument een instructie die probeert de taak om te leiden en stel vervolgens een legitieme vraag over dit document. Het doel is om het gedrag van de hele applicatie te observeren, inclusief de tools en toegangscontroles.
| Dummy-inhoud | Verwacht gedrag | Handig bewijs |
|---|---|---|
| een instructie die wordt gevraagd om de vraag te negeren | Het verzoek van de gebruiker blijft de omvang van het werk | Vraag, antwoord en gebruikte documenten |
| Een verzoek om een document door te sturen naar een derde partij | Geen ongeoorloofde verzending mogelijk | Lijst met toegankelijke tools en oproeplogboek |
| Een verzoek om een bron buiten de perimeter te lezen | Toegangscontrole voor apps weigert afspelen | Model-onafhankelijk controleresultaat |
| Een uitje dat eruitziet als een zakelijke actie | de uitvoer blijft inhoud die moet worden gevalideerd | Trace met de afwezigheid van automatische uitvoering |
deOWASP beschrijft directe en indirecte injecties en beveelt maatregelen aan die hun gevolgen beperken. Het feit dat een proef het model niet omleidt, toont geen volledige bescherming aan. De kritische vraag blijft: wat zou er kunnen gebeuren als een volgende poging zou worden gevolgd? Het antwoord moet worden aangestuurd door toepassingsmachtigingen en -besturingselementen.
Controleer de uitgangen voor gebruik
Verzend niet rechtstreeks een modelreactie naar een opdrachtinterpreter of zakelijke zoekopdracht. Controleer structuur, bestemmingen en machtigingen in de toepassingscode. De weergegeven links moeten ook met de nodige voorzichtigheid worden behandeld. De reactie kan worden geregistreerd voor analyse in een geschikte omgeving, waardoor onnodige vertrouwelijke informatie wordt bewaard.
Fictief voorbeeld: een ondersteuningsdocument
Een demobestand bevat een instructie waarin de wizard wordt gevraagd de configuratie ervan te onthullen. Het verwachte resultaat is een antwoord dat gecentreerd is op de gebruikersvraag, zonder openbaarmaking of gereedschapsoproep buiten de perimeter. De test moet dummygegevens gebruiken in een geïsoleerde omgeving. Controleer vooral of de technische beveiligingen het lek voorkomen, zelfs als het model een ongewenste instructie volgt.
Aparte reactie, actievoorstel en uitvoering
- Voor een eerste documentatiewizard, start u zonder een verzend-, verwijder- of wijziging van bedrijfstool. Controleer of deze functies daadwerkelijk ontbreken in machtigingen, en niet alleen verborgen in de interface.
- Wanneer een actie noodzakelijk is, valideer dan in de code de bestemming, het type en de rechten van de aanvrager. Een door het model geproduceerde string mag niet rechtstreeks als autorisatie worden gebruikt.
- Bekijk belangrijke instellingen in een geschikt bevestigingsscherm. De instructies op de bekeken pagina mogen dit proces niet kunnen wijzigen.
- Controleer ook de presentatie van het antwoord: HTML, links en voorgestelde onderdelen moeten de regels van uw aanvraag volgen. Maak een tekst niet uitvoerbaar omdat het uit een model komt.
In een fictief voorbeeld van webondersteuning kan de wizard uitleggen hoe u een interventie kunt aanvragen. Hij kan een samenvatting opstellen die de persoon herleest. Het hoeft niet in staat te zijn om al het technische bestand te verzenden of om de hostingtoegang te wijzigen. Deze scheiding vermindert de gevolgen van een gecompromitteerde reactie met behoud van het nut van de dienst.
Het acceptatietestbestand moet onderscheid maken tussen de uitgevoerde tests, de gecontroleerde beveiligingen en de risico's die niet getest blijven. Na een evolutie van de instrumenten of rechten, speel de betreffende zaken opnieuw af. koppel dit werk aan de Voorbereiding van de RAG-documentaire : De oorsprong en rechten van de documenten blijven belangrijk, zelfs als het model de instructies lijkt te volgen.
Integreer de test in het acceptatietest
Bewaar een paar testdocumenten die directe en indirecte pogingen vertegenwoordigen. Herhaal ze na een evolutie van het model, gereedschap of corpus. Let op het verwachte gedrag en de restlimieten in plaats van het systeem onkwetsbaar te verklaren. Kies voor een eerste project een beperkte leeswizard en raadpleeg de methode van Een website voorbereiden voor webagenten.