robots.txt คืออะไร: หน้าที่ ตัวอย่างที่พบบ่อย และวิธีเช็กเว็บของคุณ

robots.txt คืออะไร

Google อธิบายว่าไฟล์ robots.txt บอก crawler ของเครื่องมือค้นหาว่า URL ใดในเว็บไซต์ที่เข้ามาได้ โดยหลักใช้เพื่อไม่ให้มีคำขอมากเกินไป และไม่ได้ใช้เพื่อกันหน้าเว็บออกจาก Google ถ้าต้องการกันหน้าออกจากผลการค้นหา Google แนะนำให้ใช้ noindex หรือป้องกันหน้าด้วยรหัสผ่าน

ถ้าเว็บของคุณสร้างด้วย CMS เช่น Wix หรือ Blogger Google ระบุว่าคุณอาจไม่ต้องแก้ไฟล์นี้เอง หรืออาจแก้ไม่ได้ ให้หาหน้าการตั้งค่าการค้นหาใน CMS แทน

อยู่ที่ไหน และเปิดดูอย่างไร

ไฟล์ต้องอยู่ในไดเรกทอรีระดับบนสุดของเว็บ เช่น https://www.example.com/robots.txt เปิดในเบราว์เซอร์ได้เลย ไม่ต้องลงชื่อเข้าใช้อะไร กฎในไฟล์ใช้ได้เฉพาะกับโฮสต์ โปรโตคอล และพอร์ตที่ไฟล์นั้นอยู่ ดังนั้นถ้าคุณมีร้านค้าออนไลน์ที่ shop.example.com ให้เปิดไฟล์ของโดเมนย่อยนั้นด้วย

ถ้าเปิดแล้วเจอ "ไม่พบหน้า" (404) Google จะถือเหมือนไม่มีไฟล์ robots.txt ที่ถูกต้อง คือไม่มีข้อจำกัดในการ crawl

อ่าน 4 แบบที่พบบ่อย

"User-agent" บอกว่ากฎกลุ่มนั้นใช้กับ crawler ตัวไหน "Disallow" บอกว่าห้ามเข้าตรงไหน คำอธิบายด้านล่างอิงตามข้อกำหนดของ Google crawler อื่นอาจตีความต่างออกไป

• "User-agent: *" ตามด้วย "Disallow: /": ขอให้ crawler ทุกตัวไม่เข้าทั้งเว็บ ถ้าไม่มีกลุ่มของ Googlebot แยกไว้ ก็รวมถึง Google Search ด้วย ถ้าเจอในเว็บที่เปิดใช้งานอยู่ ให้ถามคนดูแลวันนี้
• "Disallow: /wp-admin/": กันเฉพาะหน้าหลังบ้านของ WordPress หน้าที่ลูกค้าเห็นไม่ถูกกัน
• "Disallow:" ที่ไม่มีอะไรตามหลัง: Google ข้ามกฎที่ไม่มีเส้นทาง จึงไม่ได้กันอะไรเลย
• มีทั้ง "User-agent: *" และกลุ่มที่ระบุชื่อ: crawler ของ Google จะใช้เฉพาะกลุ่มที่เจาะจงชื่อตัวเองที่สุด และไม่สนกลุ่มอื่น

ชื่อ crawler ของ AI ที่ควรรู้

ถ้าอยากรู้ว่าเว็บของคุณกัน AI ไว้หรือไม่ ให้มองหาชื่อเหล่านี้หลัง "User-agent:" ความหมายมาจากเอกสารของแต่ละบริษัท

• OAI-SearchBot: ใช้แสดงเว็บไซต์ในการค้นหาของ ChatGPT OpenAI ระบุว่าถ้ากันตัวนี้ เว็บจะไม่แสดงในคำตอบการค้นหาของ ChatGPT แต่ยังอาจแสดงเป็นลิงก์นำทางได้
• GPTBot: เก็บเนื้อหาที่อาจใช้ฝึกโมเดลของ OpenAI ตัดสินใจแยกจากเรื่องการค้นหาได้
• PerplexityBot: ใช้แสดงและลิงก์เว็บในผลการค้นหาของ Perplexity
• ChatGPT-User และ Perplexity-User: เข้าเว็บเมื่อผู้ใช้สั่ง ทั้งสองบริษัทระบุว่ากฎใน robots.txt อาจไม่มีผลกับตัวนี้

สิ่งที่ robots.txt ทำไม่ได้

รู้ว่าไม่ได้กันไว้ ยังไม่ได้แปลว่าทุกอย่างเรียบร้อย

• ไม่ใช่ทุก crawler จะทำตาม Google ระบุว่าการทำตามคำสั่งขึ้นอยู่กับตัว crawler เอง
• URL ที่ถูกกันยังอาจอยู่ในผลการค้นหาได้ ถ้ามีเว็บอื่นลิงก์มา โดยมักไม่มีคำอธิบาย
• ไฟร์วอลล์หรือ CDN อาจกัน crawler โดยไม่มีอะไรใน robots.txt เลย Perplexity แนะนำว่าอาจต้องอนุญาต crawler ของตนในไฟร์วอลล์
• การเปลี่ยนแปลงต้องใช้เวลา Google มักแคชไฟล์ไว้ไม่เกิน 24 ชั่วโมง และ OpenAI ระบุว่าระบบการค้นหาของตนอาจใช้ราว 24 ชั่วโมง

ถ้าใช้ Search Console อยู่ "รายงาน robots.txt" จะแสดงไฟล์ที่ Google พบของโฮสต์ 20 อันดับแรก เวลาที่ตรวจล่าสุด และปัญหาที่พบ หลังแก้แล้วกด "ขอให้ทำการ Crawl อีกครั้ง" ได้ รายงานนี้ใช้ได้กับพร็อพเพอร์ตี้โดเมน และพร็อพเพอร์ตี้คำนำหน้า URL ที่ไม่มีเส้นทาง

ถ้าเจอการกัน และเราช่วยตรงไหนได้

อย่าเพิ่งลบทันที ให้ถามคนที่ดูแลเว็บก่อนว่าใส่ไว้เพราะอะไร อาจเหลือมาจากตอนทำเว็บ หรืออาจเป็นการตัดสินใจของบริษัท นี่เป็นคำแนะนำของเรา

เรากำลังเตรียมบริการที่ตรวจเรื่องแบบนี้และส่งงานแก้เว็บ 1-3 อย่างทุกเช้า คุณเป็นคนตัดสินใจเองว่าจะใช้หรือไม่ บริการนี้มองไม่เห็นการตั้งค่าไฟร์วอลล์หรือเซิร์ฟเวอร์ และสัญญาไม่ได้ว่าเว็บจะอยู่ในคำตอบของ AI ตอนนี้ยังไม่เปิดในประเทศไทย ฝากอีเมลไว้ด้านล่าง แล้วเราจะแจ้งเมื่อเปิด