أدوات مجانية

افحص هل يحظر robots.txt برامج زحف الذكاء الاصطناعي

برامج الزحف هي برامج تقرأ المواقع تلقائيًا. أدخل رابطًا لتعرف هل يحظر ملف robots.txt في موقعك برامج زحف الذكاء الاصطناعي، مقسّمة إلى برامج زحف للبحث وأخرى للتدريب. مجانًا، دون تسجيل ودون ذكاء اصطناعي.

متى تستخدمها

  • موقعك لا يظهر في إجابات البحث بالذكاء الاصطناعي
  • غيّر مطوّر أو شركة الاستضافة أو إضافة ما ملف robots.txt
  • أردت حظر برامج زحف التدريب فقط وتريد التأكد من ذلك

ما الذي تعرضه

  • هل يحظر robots.txt كل برنامج زحف للذكاء الاصطناعي كليًا أو جزئيًا أو يسمح له
  • القاعدة التي تنطبق عليه
  • ما تقوله كل شركة رسميًا عن أثر الحظر

ما لا يمكنها معرفته

  • الحظر المضبوط في إعدادات CDN أو الخادم
  • هل تستشهد إجابات الذكاء الاصطناعي بموقعك فعلًا، أو هل تزوره برامج الزحف حقًا
  • كيفية التعامل مع أدوات الجلب التي يشغّلها المستخدم مثل ChatGPT-User

نقرأ ملف robots.txt العام فقط. لا نحفظ الرابط ولا النتائج، وتُستخدم بيانات الاتصال مؤقتًا للحد من عدد الطلبات فقط.

برامج الزحف التي نفحصها، وما تقوله الشركات المالكة لها

الأدوار مأخوذة من الوثائق الرسمية لكل شركة، وقد راجعناها في 7 نوفمبر 2026. الوثائق قد تتغير، لذا اقرأ الصفحات الرسمية قبل أن تتخذ قرارك.

برامج زحف البحث

OAI-SearchBotOpenAI
يقرأ المواقع لكي تظهر في بحث ChatGPT. عند حظره لن يظهر الموقع في إجابات بحث ChatGPT، وإن كان قد يظهر كرابط للتنقل (بحسب OpenAI).
Claude-SearchBotAnthropic
يقرأ المواقع لتحسين جودة نتائج البحث في Claude. عند حظره لا يُقرأ الموقع لأغراض البحث، ما قد يقلّل ظهوره ودقته في نتائج البحث (بحسب Anthropic).
PerplexityBotPerplexity
يقرأ المواقع لكي يعرضها Perplexity ويضع روابط إليها في نتائج البحث. وتقول Perplexity إنه لا يُستخدم لتدريب النماذج الأساسية. عند حظره ترفض القراءة التي يعتمد عليها Perplexity لعرض موقعك في نتائج بحثه (استنادًا إلى وصف Perplexity).

برامج زحف التدريب وغيرها

GPTBotOpenAI
يقرأ محتوى قد يُستخدم لتدريب نماذج الذكاء الاصطناعي التوليدي الأساسية لدى OpenAI. حظره يشير إلى أنك لا تريد استخدام محتواك في التدريب. أما بحث ChatGPT فيتحكم فيه OAI-SearchBot بشكل منفصل (بحسب OpenAI).
ClaudeBotAnthropic
يقرأ محتوى قد يُستخدم لتدريب نماذج الذكاء الاصطناعي التوليدي لدى Anthropic. حظره يطلب من Anthropic استبعاد محتواك المستقبلي من بيانات التدريب (بحسب Anthropic).
Google-ExtendedGoogle
رمز تحكم يحدد ما إذا كان المحتوى يُستخدم لتدريب نماذج Gemini المستقبلية ولتأسيس الإجابات على مصادر (grounding). لا يزحف بنفسه. تقول Google إنه لا يؤثر في إدراج الموقع أو ترتيبه في بحث Google.
Applebot-ExtendedApple
رمز تحكم يحدد ما إذا كان بإمكان Apple استخدام المحتوى في الذكاء الاصطناعي التوليدي لديها. لا يزحف بنفسه. تقول Apple إن الصفحات المحظورة يمكن أن تظل تظهر في نتائج بحث Apple، وإنه لا يُستخدم في الترتيب.
CCBotCommon Crawl
يجمع البيانات لصالح Common Crawl، وهي منظمة غير ربحية تتيح مجموعة بياناتها مجانًا للباحثين والشركات. لا تذكر صفحتها الرسمية تدريب الذكاء الاصطناعي، لكن بما أن البيانات عامة، نتوقع أنها قد تُستخدم في التدريب أيضًا (هذا تقديرنا). عند حظره يتوقف Common Crawl عن قراءة موقعك. لا يمكننا معرفة كيف يُتعامل مع البيانات المنشورة سابقًا.

كيف تحظر برنامج زحف

إضافة هذين السطرين إلى robots.txt تطلب من برنامج الزحف المذكور عدم قراءة أي جزء من موقعك. غيّر الاسم لتطبيق ذلك على برنامج زحف آخر. ملف robots.txt طلب وليس ضمانًا بأن الصفحة لن تُقرأ.

User-agent: GPTBot
Disallow: /

الوثائق الرسمية

لفحص عنوان الصفحة ووصفها و noindex، استخدم أداة فحص العنوان والوصف التعريفي.

أدوات مجانية أخرى