تقييم RAG: فحص استرجاع المصادر وجودة الإجابات كلٌّ على حدة

لتقييم RAG ، بحث وثائقي منفصل عن هيئة التحرير. يعد المقطع ذو الصلة المعاد صياغته بشكل سيئ والاستجابة السائلة المستندة إلى الوثيقة الخاطئة عيبين مختلفين. قم ببناء لعبة معيارية ، ثم افحص المصادر المسترجعة والمطالبات المنتجة.

قم ببناء لعبة أسئلة واقعية

خذ الطلبات المتكررة والتركيبات غير الدقيقة وبعض الأسئلة خارج النطاق. لكل منها ، اكتب الإجابة المتوقعة مع المقاطع التي تبرر ذلك. هل تم التحقق من صحة هذا المرجع من قبل شخص يعرف الموضوع. احتفظ بالأسئلة مستقلة عن إعدادات النظام لتجنب تحسين الأمثلة المستخدمة بالفعل أثناء التطوير.

السيطرة على ما تم العثور عليه

قبل ملاحظة نمط الرد ، افتح المستندات المستردة. هل تحتوي بالفعل على المعلومات اللازمة؟ هل الإصدار الصحيح مستخدم؟ هل كانت حالة مهمة مقطوعة عند التقطيع؟ تصنيف الأخطاء: مستند غائب عن المجموعة ، بحث غير كافٍ ، ممر واسع جدًا أو إصدار قديم. يشير هذا التحليل إلى أي جزء من السلسلة يجب تعديله.

اختبار القبول صغيرة تكشف عن عدة عائلات من الأخطاء

تصف الشبكة التالية حالات العرض التوضيحي ، مع عدم وجود نتائج محسوبة على نظام العميل. يجب أن يكون لكل سؤال مرجع تم التحقق منه قبل الاختبار. يمكن أن يحدد المرجع أنه لا يجب عليك الإجابة. هذا يمنع النموذج من أن يكافأ لإعطاء إجابة معقولة لسؤال لا يحله الجسم.

لكل فشل ، احتفظ بالسؤال ، واسترجع المستندات ، وأنتج الإجابة ، وقرار المراجع. في حالة وجود عيوب متعددة ، قم بتدوينها بشكل منفصل. يمكن أن يكون المصدر ذو الصلة مصحوبًا بجملة مخترعة ؛ سيكون من المضلل تلخيص هذه الحالة من خلال "المصدر المسترد ، وبالتالي النجاح". يجب أن يسمح البيان أيضًا لشخص آخر بفهم سبب قبول الإجابة أو رفضها.

تقييم تأكيد الرد بالتأكيد

تحقق من الدقة والاكتمال والإخلاص للمصادر والاعتراف بعدم اليقين. لا يكفي الاقتباس القابل للنقر إذا كان المقطع المقتبس لا يدعم الجملة. يمكن أن يساعد المقيِّم التلقائي في فرز النتائج ، لكن حكمه يحتاج إلى التحكم. يقدم Hugging Face نهجًا للتقييم مع الأسئلة والإجابات المرجعية والمعايير الصريحة ؛ تكييفه مع مخاطر عملك.

مثال وهمي: فترة استئناف سيئة

الوثيقة تميز بين التحضير والتسليم. لا يضيف المعالج الخطوات ويعلن عن تأخير إجمالي غير صحيح. وجد البحث المقطع الصحيح ، لكن الإجابة لا تزال خاطئة. التصحيح هو حول الصياغة والتحكم في الحساب ، وليس بالضرورة على أساس المتجه. على العكس من ذلك ، يتطلب المصدر القديم أولاً تصحيحًا وثائقيًا.

استخدم القياسات دون إخفاء الحالات المهمة

يمكن استخدام مؤشرين بسيطين في التجربة: نسبة الأسئلة التي يُسترجع لها مقطع متوقع واحد على الأقل، ونسبة الإجابات المقبولة وفق معايير التقييم. هذان مؤشران مقترحان لهذا البروتوكول، وليسا تعريفًا عامًا للاسترجاع أو مقياس جودة رسميًا لأنظمة RAG. وضّح مقام كل نسبة، واحتفظ بفئات الأسئلة منفصلة. فقد تُخفي النتيجة الإجمالية الجيدة فشل جميع الحالات التي ينبغي الامتناع فيها عن الإجابة.

1. تجميد مجموعة من الأسئلة ونسخة من المجموعة. احجز دفعة أخرى للتحقق من أن الإعدادات لا تعمل فقط على الأمثلة التي تم فحصها بالفعل.
2. احصل على جزء من الإجابات اقرأها مرة أخرى من قبل شخصين. غالبًا ما تشير الخلافات إلى أن الشبكة أو المرجع تفتقر إلى الدقة.
3. إذا كنت تستخدم نموذجًا للمقيمين ، واجه قراراته بهذا التدقيق اللغوي. لا يحل التقييم التلقائي محل الإثبات في المستند.
4. قارن بين تغيير مهم واحد فقط في كل مرة وأرشفة المخرجات. إعطاء الأولوية لعدم تأثير أي انحدار على عمليات الوصول أو الحالات خارج المحيط.

ال Hugging Face — تقييم RAG يقدم نهجًا معياريًا مع المراجع. تكمل شبكتنا هذا النهج بقرارات تتكيف مع محتوى الموقع ومستخدميه. بالنسبة للمساعد العام ، قد يكون من الأفضل الرد الدقيق والقابل للتحقق على استجابة أكثر شمولاً تضيف حالة مفقودة. ال الانتقال إلى الإنسان يجب أن تكون جزءًا من النتائج المصرح بها.

إذا بدت العيوب مرتبطة بالكتابة بدلاً من البحث الوثائقي ، فإن بروتوكول مقارنة LLM لمهام الأعمال يساعد في إعداد تجربة موجهة. احتفظ بنفس المصادر والأسئلة حتى لا تخلط بين الأسباب.

قارن تغيير واحد في كل مرة

إعداد الأرشيف والمجموعة والأسئلة والنتائج قبل كل اختبار. ثم قم بتعديل معلمة ، ثم أعد تشغيل نفس الحالات ، بما في ذلك حالات الرفض المتوقعة. لاحظ أيضًا وقت الاستجابة وتكلفة التشغيل. أفضل تكوين هو الذي يصل إلى معايير الجودة الخاصة بك في الأسئلة المفيدة. قم أولاً بإعداد أ قاعدة وثائقية متمكنة بدلاً من البحث عن نتيجة مذهلة في عدد قليل من المظاهرات.