Чтобы оценить RAG, отделите документальное исследование от редакции. Плохо переформулированный соответствующий отрывок и текучий ответ, основанный на неправильном документе, — это два разных дефекта. Создайте бенчмарк, а затем изучите полученные источники и полученные утверждения.
Создайте реалистичную игру с вопросами
Принимайте частые просьбы, неточные формулировки и несколько вопросов, выходящих за рамки. Для каждого напишите ожидаемый ответ с отрывками, которые его оправдывают. подтвердить эту ссылку лицом, знающим предмет. Держите вопросы независимыми от системных настроек, чтобы избежать оптимизации только тех примеров, которые уже использовались во время разработки.
контролировать то, что было найдено
Прежде чем заметить стиль ответа, откройте восстановленные документы. Действительно ли они содержат необходимую информацию? Используется ли правильная версия? Было ли важное условие отрезано при нарезке? Классифицировать ошибки: документ отсутствует в корпусе, недостаточный поиск, слишком широкий проход или устаревшая версия. Этот анализ указывает, какую часть строки модифицировать.
Небольшой приёмочный тест, который выявляет несколько семейств ошибок
Следующая сетка описывает демонстрационные случаи без результатов измерений в клиентской системе. Каждый вопрос должен иметь подтвержденную ссылку перед тестом. В ссылке можно указать, что вы не должны отвечать. Это мешает модели вознаграждаться за то, что он дает правдоподобный ответ на вопрос, который Корпус не решает.
| Тестовый вопрос | Ожидание проверки | Неспособность классифицировать |
|---|---|---|
| Что включает в себя это предложение? | Ограниченная реакция на объем текущего документа | Добавлен сервис без источника |
| Применимо ли это условие ко всем формулам? | Исключение или разница в объеме сохранены | Общее правило представлено без его состояния |
| Какова цена недокументированного опциона? | lack recognition and useful orientation | Придуманная сумма |
| О чем говорит старая процедура? | Отсутствие реституции как действующее правило | Устаревшая версия все еще восстановлена |
| Могу ли я проконсультироваться с этим зарезервированным документом? | соблюдение прав пользователей | Несанкционированный проход выявлен в ответе |
Для каждого сбоя сохраняйте вопрос, извлекаемые документы, подготовленный ответ и решение рецензента. Если сосуществуют несколько дефектов, запишите их отдельно. Соответствующий источник может сопровождаться придуманным предложением; Было бы вводящим в заблуждение резюмировать этот случай с помощью «восстановленного источника, следовательно, успеха». Заявление также должно позволить другому человеку понять, почему ответ был принят или был отклонен.
Оцените подтверждение ответа путем подтверждения
Проверить точность, полноту, верность источникам и распознавание неопределенности. Кликабельной цитаты недостаточно, если цитируемый отрывок не поддерживает предложение. Автоматический оценщик может помочь отсортировать результаты, но его суждение нужно контролировать. Hugging Face представляет собой оценочный подход с вопросами, справочными ответами и явными критериями; адаптируйте его к риску вашего бизнеса.
Вымышленный пример: плохо возобновленный период
В документе различается подготовка и доставка. Мастер не складывает шаги и объявляет неверную общую задержку. Исследования нашли правильный отрывок, но ответ остается ложным. Патч посвящен формулировке и контролю вычислений, не обязательно на векторной основе. И наоборот, устаревший источник сначала требует документальной коррекции.
Используйте измерения без сокрытия важных случаев
Две простые меры могут помочь пилоту: доля вопросов, на которые восстанавливается хотя бы один ожидаемый проход, а затем доля ответов, принятых в соответствии с вашей сеткой. Это индикаторы, предложенные для этого протокола, а не универсальное определение отзыва или официальный показатель качества RAGS. Опубликуйте их знаменатель и держите разделы вопросов отдельно. Хороший общий результат может замаскировать провал всех оставшихся без ответа случаев.
- Заморозьте партию вопросов и версию корпуса. Зарезервируйте другую партию, чтобы убедиться, что настройки не работают только на уже рассмотренных примерах.
- Читайте часть ответов, прочитайте снова два человека. Разногласия часто указывают на то, что сетке или ссылке не хватает точности.
- Если вы используете модель оценщика, обратитесь к его решениям с этой корректурой. Автоматическая оценка не заменяет доказательства в документе.
- Сравните только одно важное изменение за раз и заархивируйте выходные данные. Приоритет, что никакая регрессия не затрагивает доступ или случаи за пределами периметра.
Hugging Face — Оценка RAG Представляет эталонный подход со ссылками. Наша сетка завершает этот подход решениями, адаптированными к содержанию сайта и его пользователей. Для публичного помощника тщательный и поддающийся проверке ответ может быть предпочтительнее более всестороннего ответа, добавляющего отсутствующее условие. Переход к человеку должны быть частью авторизованных результатов.
Если дефекты, по-видимому, связаны с письмом, а не с документальным исследованием, Протокол сравнения LLM с бизнес-задачами Помогает подготовить целевое испытание. Сохраняйте те же источники и вопросы, чтобы не путать причины.
Сравните одно изменение за раз
Настройка архива, корпус, вопросы и результаты перед каждым тестом. Затем измените параметр, затем перезапустите те же самые случаи, включая ожидаемые отказы. Также обратите внимание на время отклика и эксплуатационные расходы. Лучшая конфигурация — это та, которая соответствует вашим критериям качества по полезным вопросам. Сначала подготовьте Освоенная документальная база Вместо того, чтобы искать впечатляющие результаты на нескольких демонстрациях.