أدوات مجانية
افحص هل يحظر robots.txt برامج زحف الذكاء الاصطناعي
برامج الزحف هي برامج تقرأ المواقع تلقائيًا. أدخل رابطًا لتعرف هل يحظر ملف robots.txt في موقعك برامج زحف الذكاء الاصطناعي، مقسّمة إلى برامج زحف للبحث وأخرى للتدريب. مجانًا، دون تسجيل ودون ذكاء اصطناعي.
متى تستخدمها
- موقعك لا يظهر في إجابات البحث بالذكاء الاصطناعي
- غيّر مطوّر أو شركة الاستضافة أو إضافة ما ملف robots.txt
- أردت حظر برامج زحف التدريب فقط وتريد التأكد من ذلك
ما الذي تعرضه
- هل يحظر robots.txt كل برنامج زحف للذكاء الاصطناعي كليًا أو جزئيًا أو يسمح له
- القاعدة التي تنطبق عليه
- ما تقوله كل شركة رسميًا عن أثر الحظر
ما لا يمكنها معرفته
- الحظر المضبوط في إعدادات CDN أو الخادم
- هل تستشهد إجابات الذكاء الاصطناعي بموقعك فعلًا، أو هل تزوره برامج الزحف حقًا
- كيفية التعامل مع أدوات الجلب التي يشغّلها المستخدم مثل ChatGPT-User
برامج الزحف التي نفحصها، وما تقوله الشركات المالكة لها
الأدوار مأخوذة من الوثائق الرسمية لكل شركة، وقد راجعناها في 7 نوفمبر 2026. الوثائق قد تتغير، لذا اقرأ الصفحات الرسمية قبل أن تتخذ قرارك.
برامج زحف البحث
- OAI-SearchBotOpenAI
- يقرأ المواقع لكي تظهر في بحث ChatGPT. عند حظره لن يظهر الموقع في إجابات بحث ChatGPT، وإن كان قد يظهر كرابط للتنقل (بحسب OpenAI).
- Claude-SearchBotAnthropic
- يقرأ المواقع لتحسين جودة نتائج البحث في Claude. عند حظره لا يُقرأ الموقع لأغراض البحث، ما قد يقلّل ظهوره ودقته في نتائج البحث (بحسب Anthropic).
- PerplexityBotPerplexity
- يقرأ المواقع لكي يعرضها Perplexity ويضع روابط إليها في نتائج البحث. وتقول Perplexity إنه لا يُستخدم لتدريب النماذج الأساسية. عند حظره ترفض القراءة التي يعتمد عليها Perplexity لعرض موقعك في نتائج بحثه (استنادًا إلى وصف Perplexity).
برامج زحف التدريب وغيرها
- GPTBotOpenAI
- يقرأ محتوى قد يُستخدم لتدريب نماذج الذكاء الاصطناعي التوليدي الأساسية لدى OpenAI. حظره يشير إلى أنك لا تريد استخدام محتواك في التدريب. أما بحث ChatGPT فيتحكم فيه OAI-SearchBot بشكل منفصل (بحسب OpenAI).
- ClaudeBotAnthropic
- يقرأ محتوى قد يُستخدم لتدريب نماذج الذكاء الاصطناعي التوليدي لدى Anthropic. حظره يطلب من Anthropic استبعاد محتواك المستقبلي من بيانات التدريب (بحسب Anthropic).
- Google-ExtendedGoogle
- رمز تحكم يحدد ما إذا كان المحتوى يُستخدم لتدريب نماذج Gemini المستقبلية ولتأسيس الإجابات على مصادر (grounding). لا يزحف بنفسه. تقول Google إنه لا يؤثر في إدراج الموقع أو ترتيبه في بحث Google.
- Applebot-ExtendedApple
- رمز تحكم يحدد ما إذا كان بإمكان Apple استخدام المحتوى في الذكاء الاصطناعي التوليدي لديها. لا يزحف بنفسه. تقول Apple إن الصفحات المحظورة يمكن أن تظل تظهر في نتائج بحث Apple، وإنه لا يُستخدم في الترتيب.
- CCBotCommon Crawl
- يجمع البيانات لصالح Common Crawl، وهي منظمة غير ربحية تتيح مجموعة بياناتها مجانًا للباحثين والشركات. لا تذكر صفحتها الرسمية تدريب الذكاء الاصطناعي، لكن بما أن البيانات عامة، نتوقع أنها قد تُستخدم في التدريب أيضًا (هذا تقديرنا). عند حظره يتوقف Common Crawl عن قراءة موقعك. لا يمكننا معرفة كيف يُتعامل مع البيانات المنشورة سابقًا.
كيف تحظر برنامج زحف
إضافة هذين السطرين إلى robots.txt تطلب من برنامج الزحف المذكور عدم قراءة أي جزء من موقعك. غيّر الاسم لتطبيق ذلك على برنامج زحف آخر. ملف robots.txt طلب وليس ضمانًا بأن الصفحة لن تُقرأ.
User-agent: GPTBot Disallow: /
الوثائق الرسمية
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
لفحص عنوان الصفحة ووصفها و noindex، استخدم أداة فحص العنوان والوصف التعريفي.