إجابات الذكاء الاصطناعي

هل تمنع GPTBot؟ زواحف التدريب مقابل زواحف البحث بالذكاء الاصطناعي

آخر تحديث · الناشر: AMA CLASS, K.K. (بالإنجليزية)

الخلاصة

منع GPTBot قرار سياسة يستطيع نشاطك اتخاذه. يجمع GPTBot محتوى قد يُستخدم لتدريب نماذج OpenAI، بينما يحدد OAI-SearchBot هل يظهر موقعك في بحث ChatGPT، وتقول OpenAI إن كل إعداد مستقل عن الآخر. الخطأ الشائع هو منع كل شيء حين تقصد الانسحاب من التدريب فقط.

كل شركة تسمّي زواحفها حسب الغرض

هذه هي الأغراض المذكورة في وثائق كل شركة، وقد راجعناها في 17 نوفمبر 2026.

  • OpenAI: GPTBot للتدريب، وOAI-SearchBot لبحث ChatGPT، وChatGPT-User للإجراءات التي يطلبها المستخدم
  • Anthropic: ClaudeBot للتدريب، وClaude-SearchBot لجودة البحث، وClaude-User حين يسأل شخص Claude سؤالًا
  • Perplexity: PerplexityBot لنتائج البحث، وتقول Perplexity إنه لا يُستخدم لتدريب النماذج الأساسية؛ وPerplexity-User لطلبات المستخدمين
  • Google: Googlebot للبحث. ويتحكم Google-Extended في استخدام المحتوى لتدريب Gemini مستقبلًا وللاستناد إليه (grounding)، وتقول Google إنه لا يؤثر في التضمين أو الترتيب في البحث

قواعد robots.txt لكل هدف

ملف robots.txt هو الملف الموجود في جذر موقعك، ويعطي الزواحف التعليمات.

  • السماح للاثنين: لا تضف شيئًا. وإذا كان الاثنان مسموحين، فقد تستخدم OpenAI زحفًا واحدًا للغرضين.
  • الانسحاب من التدريب مع البقاء في بحث ChatGPT: تحت User-agent: GPTBot أضف Disallow: / واترك OAI-SearchBot كما هو.
  • الانسحاب من الاثنين: امنع GPTBot وOAI-SearchBot. لن تُستخدم صفحاتك بعد ذلك في إجابات بحث ChatGPT.

توصي OpenAI بالسماح لـ OAI-SearchBot إن أردت الظهور في بحث ChatGPT. والسماح له لا يعني أنك ستظهر.

ثلاثة أسئلة تساعدك على القرار

هذا الجزء رأينا نحن، والإجابة الصحيحة تختلف من نشاط إلى آخر.

  • هل تحتوي الصفحات العامة مواد أصلية، مثل الصور أو الأدلة، لا تريد استخدامها في التدريب؟
  • هل تنص عقود العملاء أو السياسات الداخلية مسبقًا على طريقة استخدام هذا المحتوى؟
  • هل تريد أن يجدك من يبحثون عن مزودين عبر مساعدات الذكاء الاصطناعي؟

الإجابة بنعم على أي من السؤالين الأولين سبب لمنع GPTBot، والإجابة بنعم على الثالث سبب لترك OAI-SearchBot مفتوحًا. ويمكن أن يصح الأمران معًا. وإن لم ينطبق شيء، فترك الإعدادات الافتراضية خيار معقول.

أصلح الخطأ الأكثر شيوعًا

كثيرًا ما يتحول طلب «أوقفوا الذكاء الاصطناعي» إلى قاعدة توقف كل شيء. مثال الطلب أدناه افتراضي.

  • قبل: User-agent: * ثم Disallow: / وهذا ينطبق على كل الزواحف، ومنها Googlebot وBingbot.
  • بعد: User-agent: GPTBot ثم Disallow: / فيتأثر الزاحف المذكور فقط.
  • قبل: «امنعوا الذكاء الاصطناعي من فضلكم.»
  • بعد: «امنعوا GPTBot وClaudeBot وGoogle-Extended. لا تمنعوا OAI-SearchBot أو Claude-SearchBot أو PerplexityBot. أرسلوا لي ملف robots.txt بعد التعديل.»

ما لا يستطيع robots.txt فعله

تنبه Google إلى أن التزام الزاحف بملف robots.txt يعود إلى الزاحف نفسه. وتصف Anthropic منع ClaudeBot بأنه إشارة لاستبعاد مواد الموقع المستقبلية من التدريب، ولم نجد تصريحًا بشأن المحتوى المجموع سابقًا. وتقول OpenAI إن قواعد robots.txt قد لا تنطبق على زيارات ChatGPT-User التي يبدأها المستخدم، وتقول Perplexity إن Perplexity-User يتجاهل robots.txt عمومًا. وتقول OpenAI إن التغييرات قد تحتاج إلى نحو 24 ساعة لتؤثر في البحث. ولإبقاء المحتوى خاصًا، ضعه خلف تسجيل دخول بدلًا من ذلك.

افحص ملفك اليوم

افتح نطاقك متبوعًا بـ /robots.txt. ابحث عن أي مجموعات لـ GPTBot وOAI-SearchBot واقرأ أسطر Disallow فيها، ثم تحقق من أن User-agent: * لا يليه Disallow: / ويقرأ مدقق زواحف الذكاء الاصطناعي المجاني لدينا الملف بدلًا منك على العنوان https://get1pct.com/ar/tools/ai-crawler-check ويعرض أي زواحف البحث والتدريب بالذكاء الاصطناعي ممنوعة. اكتب سطرًا واحدًا تدوّن فيه ما قررته ولماذا. وقد تُطبَّق القواعد أيضًا عبر شبكة توصيل المحتوى (CDN) أو جدار حماية، وهو ما لن يُظهره robots.txt. لا نستطيع أن نقرر هذه السياسة نيابة عنك، ولا أن نعد بالظهور في إجابات الذكاء الاصطناعي.

المصادر