يمكن إخفاء الحقن الفوري في مستند يستشيره المساعد: يحاول النص جعله يتخلى عن مهمته أو يكشف عن المعلومات. تعامل مع المحتوى المسترد على أنه بيانات غير موثوقة وحد من الإجراءات التي يمكن للنظام تنفيذها.
تحديد حدود الثقة
لا تتمتع صفحة الويب أو PDF أو الرسالة المستلمة بسلطة لتعليمات التطبيق الخاص بك. يجب أن يظل المحتوى الذي يؤكد العكس مصدرًا ليتم تحليله. يحدد OWASP حقن التعليمات بين مخاطر تطبيقات نماذج اللغة. لا تشكل التعليمات البسيطة التي تدعو النموذج لتجاهل الهجمات فصلًا تقنيًا كافيًا.
تقليل العواقب المحتملة
لا يحتاج معالج المستندات عمومًا إلى أن يكون قادرًا على إرسال الرسائل أو تحرير الملفات أو عرض جميع مجلدات الشركة. الحد من أدواته والوصول إلى المحيط المفيد. افصل بحث المستند عن تنفيذ إجراء ما. عند وجود إجراء حساس ، يتم التحقق من صحة معلماته في واجهة خاضعة للرقابة ، مع قواعد خارجية للنص الذي تم إنشاؤه.
بناء سيناريو اختبار بدون بيانات حساسة
اعمل في بيئة اختبار القبول مخططة ، مع مجموعة وحسابات تجريبية. يجب ألا يطلب الاختبار تسربًا حقيقيًا لإثبات وجود الخطر. ضع في مستند وهمي تعليمات تحاول تحويل المهمة ، ثم اطرح سؤالاً شرعيًا حول هذا المستند. الهدف هو مراقبة سلوك التطبيق بأكمله ، بما في ذلك أدواته وعناصر التحكم في الوصول.
| محتوى وهمي | السلوك المتوقع | دليل مفيد |
|---|---|---|
| تعليمات تطلب تجاهل السؤال | يظل طلب المستخدم هو نطاق العمل | السؤال والإجابة والمستندات المستخدمة |
| طلب إعادة توجيه مستند إلى طرف ثالث | لا يوجد شحن غير مصرح به | قائمة الأدوات التي يمكن الوصول إليها وسجل المكالمات |
| طلب لقراءة مورد خارج المحيط | يرفض التحكم في الوصول إلى التطبيق التشغيل | نتيجة تحكم مستقلة عن النموذج |
| نزهة تبدو وكأنها عمل تجاري | يبقى الإخراج محتوى ليتم التحقق من صحته | تتبع توضح عدم التنفيذ التلقائي |
اليصف OWASP الحقن المباشرة وغير المباشرة ويوصي بتدابير تحد من عواقبها. حقيقة أن المحاكمة فشلت في تحويل النموذج لا تظهر الحماية الكاملة. يبقى السؤال الحاسم: ماذا يمكن أن يحدث إذا تم اتباع المحاولة التالية؟ يجب أن تكون الاستجابة مدفوعة بأذونات التطبيق وعناصر التحكم.
تحقق من المخرجات قبل الاستخدام
لا تقم بنقل استجابة نموذجية مباشرة إلى مترجم أوامر أو استعلام عمل. تحقق من الهيكل والوجهات والأذونات في رمز التطبيق. يجب أيضًا التعامل مع الروابط المعروضة بحذر. يمكن تسجيل الاستجابة للتحليل في بيئة مناسبة ، وتجنب الاحتفاظ غير الضروري للمعلومات السرية.
مثال وهمي: وثيقة دعم
يحتوي الملف التجريبي على تعليمات تطلب من المعالج الكشف عن تكوينه. والنتيجة المتوقعة هي استجابة تتمحور حول سؤال المستخدم ، دون الكشف أو استدعاء الأداة خارج المحيط. يجب أن يستخدم الاختبار بيانات وهمية في بيئة معزولة. قبل كل شيء ، تحقق من أن الحماية الفنية تمنع التسرب حتى لو كان النموذج يتبع تعليمات غير مرغوب فيها.
استجابة منفصلة واقتراح عمل وتنفيذ
- بالنسبة لمعالج التوثيق الأول ، ابدأ بدون أداة أعمال إرسال أو حذف أو تغيير. تحقق من أن هذه الوظائف مفقودة بالفعل من الأذونات ، وليست مخفية فقط في الواجهة.
- عندما يكون الإجراء ضروريًا ، تحقق في الكود وجهته ونوعه وحقوق مقدم الطلب. لا ينبغي استخدام السلسلة التي ينتجها النموذج مباشرة كإذن.
- عرض الإعدادات المهمة في شاشة تأكيد مناسبة. يجب ألا تكون الإرشادات الموجودة في الصفحة التي تم عرضها قادرة على تعديل هذه العملية.
- تحقق أيضًا من عرض الإجابة: يجب أن تتبع HTML والروابط والأجزاء المقترحة قواعد طلبك. لا تجعل النص قابلاً للتنفيذ لأنه يأتي من نموذج.
في مثال خيالي لدعم الويب ، يمكن للساحر شرح كيفية طلب التدخل. يمكنه إعداد ملخص يعيده الشخص. لا تحتاج إلى أن تكون قادرة على إرسال جميع الملفات الفنية أو تغيير الوصول إلى الاستضافة. يقلل هذا الفصل من عواقب الاستجابة المخترقة مع الحفاظ على فائدة الخدمة.
يجب أن يميز ملف اختبار القبول بين الاختبارات التي تم إجراؤها والحماية التي يتم التحكم فيها والمخاطر التي لا تزال غير مختبرة. بعد تطور الأدوات أو الحقوق ، أعد عرض القضايا المعنية. ربط هذا العمل بـ إعداد قاعدة RAG الوثائقية : يظل أصل وحقوق المستندات مهمة حتى عندما يبدو أن النموذج يتبع التعليمات.
دمج الاختبار في اختبار القبول
احتفظ ببعض مستندات الاختبار التي تمثل محاولات مباشرة وغير مباشرة. أعد تشغيلها بعد تطور النموذج أو الأدوات أو المجموعة. لاحظ السلوكيات المتوقعة والحدود المتبقية بدلاً من إعلان أن النظام غير معرض للخطر. بالنسبة للمشروع الأول ، اختر معالج قراءة مقيدًا واستشر طريقة إعداد موقع ويب لوكلاء الويب.