В документе, с которым консультируется помощник, может быть скрыта оперативная инъекция: текст пытается заставить его отказаться от своей задачи или раскрыть информацию. Относитесь к восстановленному контенту как к ненадежным данным и ограничьте действия, которые может выполнять система.
Определите границу доверия
Веб-страница, PDF или полученное сообщение не имеют полномочий для инструкций вашего приложения. Контент, подтверждающий противоположное, должен оставаться источником для анализа. OWASP идентифицирует оперативные инъекции среди рисков приложений языковой модели. Простая инструкция, предлагающая модели игнорировать атаки, не представляет собой достаточное техническое разделение.
уменьшить возможные последствия
Мастеру документов, как правило, не нужно отправлять сообщения, редактировать файлы или просматривать все папки компании. Ограничьте его инструменты и доступ к полезному периметру. Отделите поиск документа от выполнения действия. Когда существует чувствительное действие, проверяйте его параметры в контролируемом интерфейсе, при этом правила вне генерируемого текста.
Построить тестовый сценарий без конфиденциальных данных
Работайте в запланированной среде приёмочных тестов, с корпусом и демо-счетами. Тест не должен просить реальную утечку, чтобы доказать, что риск существует. Поместите в фиктивный документ инструкцию, которая пытается отклонить задачу, затем задайте законный вопрос об этом документе. Цель состоит в том, чтобы наблюдать за поведением всего приложения, включая его инструменты и элементы управления доступом.
| фиктивный контент | Ожидаемое поведение | Полезное доказательство |
|---|---|---|
| инструкция с проигнорированием вопроса | Запрос пользователя остается объемом работы | Вопрос, ответ и используемые документы |
| запрос на пересылку документа третьей стороне | Несанкционированная отгрузка невозможна | Список доступных инструментов и журнал вызовов |
| Запрос на чтение ресурса за пределами периметра | Контроль доступа к приложениям отказывается от воспроизведения | Результат независимой модели управления |
| прогулка, которая выглядит как бизнес-акция | Вывод остается содержащимся для проверки | Трассировка, показывающая отсутствие автоматического выполнения |
OWASP описывает прямые и непрямые инъекции и рекомендует меры, ограничивающие их последствия. Тот факт, что испытание не может отклонить модель, не демонстрирует полной защиты. Остается критический вопрос: что может произойти, если последующая попытка будет выполнена? Ответ должен управляться разрешениями приложений и элементами управления.
Проверьте выходы перед использованием
Не передавайте реакцию модели напрямую на интерпретатор команды или бизнес-запрос. Проверьте структуру, адресаты и разрешения в коде приложения. Отображаемые ссылки также следует относиться с осторожностью. Ответ может быть записан для анализа в подходящей среде, избегая ненужного хранения конфиденциальной информации.
Вымышленный пример: вспомогательный документ
Демо-файл содержит инструкцию, в которой мастера просят мастера раскрыть свою конфигурацию. Ожидаемый результат — ответ, сосредоточенный на вопросе пользователя, без раскрытия или вызова инструмента за пределами периметра. Тест должен использовать фиктивные данные в изолированной среде. Прежде всего, убедитесь, что техническая защита предотвращает утечку, даже если модель соблюдает нежелательную инструкцию.
Отдельный ответ, предложение действий и выполнение
- Для первого мастера документации начните без отправки, удаления или изменения инструмента для бизнеса. Убедитесь, что эти функции на самом деле отсутствуют в разрешениях, а не просто скрыты в интерфейсе.
- Когда действие необходимо, проверяйте в коде его пункт назначения, его тип и права запрашивающего. Строка, созданная моделью, не должна использоваться непосредственно в качестве авторизации.
- Просмотр важных настроек на соответствующем экране подтверждения. Инструкции на просмотренной странице не должны быть в состоянии изменить этот процесс.
- Также проверьте презентацию ответа: HTML, ссылки и предлагаемые части должны следовать правилам вашего приложения. Не делайте текст исполняемым, потому что он исходит из модели.
В вымышленном примере поддержки Интернета мастер может объяснить, как запросить вмешательство. Он может подготовить резюме, которое человек перечитывает. Ему не нужно иметь возможность отправлять весь технический файл или менять доступ к хостингу. Это разделение уменьшает последствия скомпрометированного ответа, сохраняя при этом полезность сервиса.
Файл приёмочного теста должен различать проведенные тесты, контролируемые меры защиты и риски, которые остаются непроверенными. После эволюции инструментов или прав переиграйте соответствующие дела. Связать эту работу с Подготовка документальной базы RAG : Происхождение и права документов остаются важными, даже если модель, кажется, соблюдает инструкции.
интегрировать тест в приёмочный тест
Сохраните несколько тестовых документов, представляющих прямые и косвенные попытки. Воспроизведите их после эволюции модели, инструментов или корпуса. Обратите внимание на ожидаемое поведение и остаточные пределы вместо того, чтобы объявлять систему неуязвимой. Для первого проекта выберите мастер ограниченного чтения и обратитесь к методу Подготовка сайта для веб-агентов.