robots.txt: ما هو وكيف تفحصه بنفسك، مع زواحف الذكاء الاصطناعي

ما هو robots.txt؟

تقول Google إن ملف robots.txt يحدّد عناوين URL التي يمكن لبرامج الزحف الوصول إليها، وإنه يُستخدم غالباً لتجنّب عبء زائد على موقعك من طلبات الزحف.

وتقول أيضاً إنه ليس آلية لإخفاء صفحة من نتائج Google. فالصفحة الممنوعة قد تظهر في النتائج بلا وصف إذا كانت صفحات أخرى ترتبط بها. لإخفاء صفحة، تشير Google إلى علامة noindex أو الحماية بكلمة مرور.

إن كان موقعك على نظام إدارة محتوى مثل Wix أو Blogger، فتقول Google إنك على الأرجح لن تعدّل الملف مباشرة، بل ستجد صفحة لإعدادات البحث لدى مزوّد الخدمة.

افتح الملف

يوجد الملف في المستوى الأعلى من الموقع، مثل https://www.example.com/robots.txt. وتقول Google إن قواعده لا تنطبق إلا على المضيف والبروتوكول ورقم المنفذ نفسه. فإن كان متجرك أو صفحة الحجز على نطاق فرعي مثل shop.example.com، فافتح ملفه أيضاً.

إذا ظهر "غير موجود" (404)، فتعامل Google ذلك كأنه لا يوجد ملف، وتفترض أنه لا قيود على الزحف.

اقرأ خمسة أنماط شائعة

السطر User-agent يحدّد الزاحف المقصود، والسطر Disallow يحدّد ما لا يدخله. القراءة أدناه حسب مواصفات Google ومستندات الشركات نفسها، وقد تقرأ زواحف أخرى الملف بشكل مختلف.

• "User-agent: *" ثم "Disallow: /": يطلب من كل الزواحف تجنّب الموقع كله، ومنها Google إن لم تكن له مجموعة خاصة
• "User-agent: OAI-SearchBot" ثم "Disallow: /": يمنع زاحف البحث في ChatGPT بالاسم
• "Disallow: /wp-admin/": يمنع لوحة تحكم WordPress فقط، لا صفحاتك العامة
• "Disallow:" بلا مسار: تتجاهله Google، فلا يمنع شيئاً
• مجموعة "*" ومجموعة باسم زاحف معًا: يتّبع زاحف Google المجموعة الأكثر تحديداً فقط

تقول OpenAI إن المواقع التي تمنع OAI-SearchBot لن تظهر في إجابات البحث في ChatGPT، وإن كانت قد تظهر كروابط تنقّل.

زواحف البحث غير زواحف التدريب

لتعرف هل يمكن أن تظهر في إجابات البحث بالذكاء الاصطناعي، ابحث عن زواحف البحث. الأسماء من مستندات كل شركة:

• Googlebot: بحث Google
• OAI-SearchBot: البحث في ChatGPT
• Claude-SearchBot: جودة نتائج البحث في Claude
• PerplexityBot: نتائج البحث في Perplexity

أما GPTBot وClaudeBot فيجمعان محتوى قد يُستخدم في تدريب النماذج، ويمكنك أن تقرّر فيهما بشكل منفصل عن البحث. وChatGPT-User وPerplexity-User يزوران الصفحة بطلب من المستخدم، وتقول الشركتان إن robots.txt قد لا ينطبق عليهما.

وعن Google، يقول دليلها لميزات الذكاء الاصطناعي التوليدي إن هذه الميزات تعتمد على أنظمة "بحث Google" الأساسية، وإن الصفحة يجب أن تكون مفهرسة ومؤهلة للظهور مع مقتطف حتى تكون مؤهلة لها، دون ضمان للظهور.

الفحص في Search Console

إن كنت تستخدم Search Console، فتقرير ملفات robots.txt يعرض الملفات التي عثرت عليها Google لأهم 20 مضيفاً في موقعك، وآخر مرة زحفت إليها، وأي تحذيرات أو أخطاء. ويمكنك منه طلب إعادة الزحف إلى الملف في الحالات الطارئة. التقرير متاح لموقع على مستوى النطاق، أو لموقع يحمل بادئة عنوان URL بدون مسار.

ما لا يخبرك به الملف

حتى لو لم يكن في الملف أي منع، تبقى هذه الأمور:

• الجدار الناري أو شبكة CDN قد يمنعان الزواحف دون أي سطر في الملف. وتوصي Perplexity بالسماح بنطاقات عناوين IP المنشورة لزاحفها
• تحتفظ Google بنسخة من الملف لمدة تصل إلى 24 ساعة عادةً، وتقول OpenAI إن أنظمتها قد تحتاج نحو 24 ساعة للتكيّف
• عدم منع الزاحف لا يعني أنك ستظهر في إجابات الذكاء الاصطناعي

إن وجدت منعاً، فلا تحذفه فوراً. اسأل من يدير الموقع عن سببه، فقد يكون بقايا مرحلة التطوير أو قراراً من الإدارة. لكن "Disallow: /" تحت "User-agent: *" قد يوقف بحث Google أيضاً، فاسأل عنه اليوم. هذه نصيحتنا.

نُجهّز خدمة ترسل إليك كل صباح من تعديل واحد إلى ثلاثة تعديلات محددة لموقعك، أو لا شيء إن لم تكن هناك فكرة جيدة في ذلك اليوم. أنت من يقرّر تطبيقها أو تركها. لا نعيد بناء المواقع. لا تستطيع الخدمة رؤية إعدادات الخادم أو شبكة CDN، ولا يمكنها أن تعد بظهورك في إجابات الذكاء الاصطناعي. الخدمة غير متاحة في بلدك بعد، ونحن نُجهّزها له. اترك بريدك الإلكتروني في الأسفل لنخبرك عند افتتاحها.