คำตอบจาก AI
วิธีเช็ก robots.txt ด้วยตัวเอง รวมถึงครอว์เลอร์ AI
คำตอบสั้นๆ
เติม /robots.txt ต่อท้ายที่อยู่เว็บแล้วเปิดในเบราว์เซอร์ ดูว่ามี “Disallow: /” ใต้ “User-agent: *” ซึ่งขอให้ครอว์เลอร์ทุกตัวข้ามทั้งเว็บหรือไม่ และดูใต้ชื่อครอว์เลอร์ของการค้นหา เช่น OAI-SearchBot หรือ PerplexityBot ทำได้วันนี้โดยไม่ต้องล็อกอินเข้าระบบใด
เปิดไฟล์
robots.txt อยู่ระดับบนสุดของเว็บ เช่น https://www.example.com/robots.txt Google ระบุว่ากฎมีผลเฉพาะโฮสต์ โปรโตคอล และพอร์ตที่ไฟล์นั้นอยู่ ซับโดเมนอย่าง shop.example.com มีไฟล์ของตัวเอง ถ้าระบบจองหรือร้านค้าของคุณอยู่บนซับโดเมน ให้เปิดไฟล์นั้นด้วย
ถ้าไฟล์ตอบกลับว่า “ไม่พบ” (404) Google จะถือเหมือนไม่มี robots.txt และถือว่าไม่มีข้อจำกัดการครอว์ล ถ้าไม่อยากอ่านเอง ใช้ https://get1pct.com/th/tools/ai-crawler-check ช่วยตรวจได้
อ่าน 5 รูปแบบที่พบบ่อย
“User-agent” บอกว่ากลุ่มกฎนั้นใช้กับครอว์เลอร์ตัวไหน “Disallow” บอกว่าไม่ควรเข้าไปตรงไหน การอ่านด้านล่างอิงตามข้อกำหนดของ Google และเอกสารของบริษัทเจ้าของครอว์เลอร์ ครอว์เลอร์อื่นอาจอ่านไฟล์ต่างออกไป
- “User-agent: *” ตามด้วย “Disallow: /”: ขอให้ครอว์เลอร์ทุกตัวข้ามทั้งเว็บ ถ้า Googlebot ไม่มีกลุ่มของตัวเอง กฎนี้ใช้กับ Google Search ด้วย ถ้าเป็นเว็บที่เปิดใช้งานจริง ให้หาว่าทำไมถึงมีกฎนี้
- “User-agent: OAI-SearchBot” ตามด้วย “Disallow: /”: บล็อกครอว์เลอร์ตัวนั้นโดยระบุชื่อ OpenAI ระบุว่าเว็บแบบนี้จะไม่แสดงในคำตอบของ ChatGPT search แม้ยังอาจปรากฏเป็นลิงก์นำทางได้
- “User-agent: *” ตามด้วย “Disallow: /wp-admin/”: บล็อกเฉพาะส่วนผู้ดูแลของ WordPress หน้าสาธารณะไม่ถูกบล็อก
- “Disallow:” โดยไม่มีอะไรตามหลัง: Google ไม่สนใจกฎที่ไม่มีพาธ จึงไม่ได้บล็อกอะไร
- มีทั้ง “User-agent: *” และกลุ่มที่ระบุชื่อ: ครอว์เลอร์ของ Google ทำตามเฉพาะกลุ่มที่ตรงกับตัวเองมากที่สุด และไม่สนใจกลุ่มอื่น
ครอว์เลอร์สำหรับการค้นหากับครอว์เลอร์สำหรับฝึก AI ต่างกัน
ถ้าต้องการเช็กว่าจะปรากฏในคำตอบของ AI Search ได้ไหม ให้ดูครอว์เลอร์ของการค้นหา ชื่อเหล่านี้มาจากเอกสารของแต่ละบริษัท
- Googlebot: Google Search ฟีเจอร์ AI ของ Google ใน Search ควบคุมผ่านกฎ robots.txt ชุดเดียวกันของ Googlebot
- OAI-SearchBot: ChatGPT search
- Claude-SearchBot: ปรับปรุงผลการค้นหาสำหรับผู้ใช้ Claude
- PerplexityBot: ผลการค้นหาของ Perplexity
GPTBot และ ClaudeBot เก็บเนื้อหาที่อาจใช้ในการฝึก คุณตัดสินใจเรื่องนี้แยกจากการค้นหาได้ ส่วน ChatGPT-User และ Perplexity-User ทำงานตามคำขอของผู้ใช้ OpenAI ระบุว่ากฎ robots.txt อาจไม่มีผลกับ ChatGPT-User และ Perplexity ระบุว่าตัวดึงข้อมูลของตนโดยทั่วไปไม่สนใจกฎเหล่านี้
เช็กใน Search Console
ถ้าใช้ Search Console รายงาน robots.txt ในการตั้งค่าจะแสดงว่า Google พบไฟล์ robots.txt ไฟล์ไหนบ้างสำหรับโฮสต์สูงสุด 20 รายการ ดึงไฟล์ล่าสุดเมื่อไร และมีข้อผิดพลาดอะไร หลังแก้แล้ว คุณขอให้ครอว์ลไฟล์ใหม่ได้จากรายงานนั้น รายงานนี้ใช้ได้กับพร็อพเพอร์ตี้แบบโดเมน และพร็อพเพอร์ตี้แบบคำนำหน้า URL ที่ไม่มีพาธ
สิ่งที่ robots.txt บอกไม่ได้
แม้รู้ว่าไม่ได้บล็อกครอว์เลอร์ ก็ยังมีเรื่องเหล่านี้ที่ต้องดูแยก
- ไม่ใช่การรับประกัน Google ระบุว่าครอว์เลอร์ที่น่าเชื่อถือจะทำตามกฎ แต่ครอว์เลอร์อื่นอาจไม่ทำตาม
- CDN ไฟร์วอลล์ หรือการตั้งค่าเซิร์ฟเวอร์อาจบล็อกครอว์เลอร์ได้โดยไม่มีอะไรใน robots.txt Perplexity ระบุว่าอาจต้องตั้งไฟร์วอลล์ให้อนุญาตครอว์เลอร์ของตน
- ถ้าต้องการกันหน้าไม่ให้ขึ้นในการค้นหา Google แนะนำ noindex หน้าที่ถูกบล็อกใน robots.txt จะอ่านไม่ได้ จึงมองไม่เห็น noindex ของหน้านั้นด้วย
- การไม่บล็อกครอว์เลอร์ไม่ได้หมายความว่าคุณจะปรากฏในคำตอบของ AI
การเปลี่ยนแปลงต้องใช้เวลาด้วย โดยทั่วไป Google แคช robots.txt ไว้สูงสุด 24 ชั่วโมง และ OpenAI ระบุว่าระบบค้นหาของตนอาจใช้เวลาประมาณ 24 ชั่วโมงในการปรับ
ถ้าพบการบล็อก
อย่าเพิ่งลบทันที ให้ถามผู้ดูแลเว็บว่าทำไมถึงมี อาจเป็นของที่ค้างจากช่วงพัฒนา หรืออาจเป็นการตัดสินใจของบริษัท ส่วน “Disallow: /” ใต้ “User-agent: *” อาจหยุด Google Search ได้ด้วย ข้อนี้ควรถามวันนี้ นี่คือคำแนะนำของเรา พื้นฐานของไฟล์นี้อ่านเพิ่มได้ใน robots.txt คืออะไร: หน้าที่ ตัวอย่างที่พบบ่อย และวิธีเช็กเว็บของคุณ
Get1pct เป็นบริการที่เช็กเรื่องแบบนี้ และส่งงานแก้สูงสุดสามข้อในวันที่มีไอเดียที่เหมาะ บริการนี้มองไม่เห็นการตั้งค่า CDN หรือเซิร์ฟเวอร์ และสัญญาไม่ได้ว่าจะได้ปรากฏในคำตอบของ AI ดูสถานะการเปิดให้บริการและเงื่อนไขปัจจุบันได้จากคำแนะนำในหน้านี้ และฝากอีเมลไว้เพื่อรับการแจ้งเตือนเมื่อเปิดให้บริการหนึ่งครั้งได้
แหล่งอ้างอิง
- Google: วิธีที่ Google ตีความข้อกำหนดของ robots.txt
- Google: ข้อมูลเบื้องต้นเกี่ยวกับ robots.txt
- ความช่วยเหลือเกี่ยวกับ Search Console: รายงาน robots.txt
- Google: บล็อกการจัดทำดัชนีของ Search ด้วย noindex
- Google: ฟีเจอร์ AI และเว็บไซต์ของคุณ
- OpenAI: ภาพรวมครอว์เลอร์ของ OpenAI
- Perplexity: ครอว์เลอร์ของ Perplexity
- Anthropic: Anthropic ครอว์ลข้อมูลจากเว็บไหม และเจ้าของเว็บบล็อกได้อย่างไร