لا يلعب Oai-searchbot و gptbot و chatgpt-user نفس الدور. يتم استخدام OAI-SearchBot للبحث عن المواقع وظهورها في الردود من ChatGPT Search. يستكشف GPTBot المحتوى الذي يمكن استخدامه لتحسين النماذج التوليدية وتأمينها. يتوافق chatgpt-user مع بعض الزيارات التي يتم تشغيلها بواسطة إجراء صريح للمستخدم وليس الروبوت الذي يحدد التضمين في البحث. developers.openai.com
خيارات مستقلة في robots.txt
يحدد OpenAI أن الإعدادات مستقلة. يمكن للمؤسسة السماح لـ OAI-SearchBot بالبقاء قابلاً للاكتشاف في البحث مع رفض GPTBot إذا كانت سياستها تستبعد استخدام المحتوى للتدريب. يجب ترجمة هذا القرار إلى robots.txt ، ولكن تحقق أيضًا من أن جدار الحماية أو CDN أو أداة مكافحة الروبوت لا تحظر الطلبات المصرح بها.
دور كل وكيل
- OAI-searchbot: الزحف التلقائي لنتائج بحث الدردشة ؛ هذا هو الإعداد لفحص رؤية البحث.
- GPTBot: استكشاف النماذج التوليدية ؛ يشير الحظر إلى أنه لا ينبغي استخدام المحتوى لهذا الغرض.
- مستخدم الدردشة: الوصول الذي قد يبدأ عندما يطلب المستخدم من ChatGPT فتح أو استخدام صفحة ؛ هذا ليس زحف بحث تلقائي.
مثال على سياسة متماسكة
يمكن للموقع العام أن يسمح OAI-SearchBot على صفحاته التحريرية والتجارية ، ويحظر الدلائل الخاصة أو الفنية لجميع الروبوتات ويقرر بشكل منفصل حالة GPTBot. يجب أن تظل المساحات المصدق عليها والسلال وعمليات البحث الداخلية وعناوين URL للمعلمات محمية بواسطة عناصر تحكم الوصول الحقيقية ؛ robots.txt ليست آلية أمنية.
الشيكات بعد التعديل
- التحقق من صحة بناء الجملة والعنوان العام لـ robots.txt.
- قارن القواعد مع نطاقات IP التي نشرتها OpenAI.
- لاحظ حالات HTTP في السجلات والكتل الممكنة 403 أو 429.
- تحقق من عناوين URL الأساسية و NoIndexes والمحتويات التي يمكن الوصول إليها.
- انتظر للنظر: يشير OpenAI إلى أن تغيير robots.txt قد يستغرق حوالي 24 ساعة لأنظمة البحث الخاصة به.
الفخ الرئيسي
لا يكفي السماح لوكيل مستخدم في robots.txt إذا كانت طبقة الشبكة تحظره. على العكس من ذلك ، فإن السماح للروبوت لا يضمن اختيار الصفحة أو الاستشهاد بها. يجب أن توفق السياسة بين الرؤية وإدارة المحتوى والأمن الحقيقي.
قرارات وصول الزاحف المنفصلة
يريد الناشر صفحات عامة قابلة للاكتشاف أثناء البحث أثناء اتخاذ قرار واضح بشأن الاستخدامات الآلية الأخرى. يسرد الوكلاء المعلنين في robots.txt ، ويتشاور مع الوثائق الحالية لكل موفر ويختبر عناوين URL المهمة بعد أي تغيير.
سجل القرار بالاستخدام والوكيل ، ثم افحص السجلات واستجابات HTTP. أسماء الزاحف وأغراضه غير قابلة للتبديل ، ولا تؤمن قاعدة robots.txt مواد سرية.