เครื่องมือฟรี

ตรวจสอบว่า robots.txt บล็อก AI Crawler หรือไม่

Crawler คือโปรแกรมที่อ่านเว็บไซต์โดยอัตโนมัติ ใส่ URL เพื่อดูว่า robots.txt ของคุณบล็อก AI Crawler หรือไม่ โดยแยกเป็น Crawler สำหรับการค้นหาและสำหรับการฝึกโมเดล ใช้ฟรี ไม่ต้องสมัคร และไม่ใช้ AI

ใช้เมื่อไร

  • เว็บไซต์ของคุณไม่ปรากฏในคำตอบของการค้นหาด้วย AI
  • นักพัฒนา ผู้ให้บริการโฮสติ้ง หรือปลั๊กอินแก้ไข robots.txt
  • ตั้งใจบล็อกเฉพาะ Crawler สำหรับฝึกโมเดล และอยากยืนยันว่าตั้งค่าถูกต้อง

สิ่งที่เครื่องมือแสดง

  • robots.txt บล็อก AI Crawler แต่ละตัวทั้งหมด บางส่วน หรืออนุญาต
  • กฎข้อใดที่มีผล
  • แต่ละบริษัทอธิบายอย่างเป็นทางการว่าการบล็อกมีผลอย่างไร

สิ่งที่เครื่องมือบอกไม่ได้

  • การบล็อกที่ตั้งค่าไว้ใน CDN หรือเซิร์ฟเวอร์
  • คำตอบของ AI อ้างอิงเว็บไซต์ของคุณจริงหรือไม่ หรือ Crawler เข้ามาจริงหรือไม่
  • การจัดการกับตัวดึงข้อมูลที่ผู้ใช้สั่งงาน เช่น ChatGPT-User

เราอ่านเฉพาะไฟล์ robots.txt ที่เปิดเป็นสาธารณะ ไม่บันทึก URL หรือผลลัพธ์ ข้อมูลการเชื่อมต่อใช้ชั่วคราวเพื่อจำกัดจำนวนคำขอเท่านั้น

Crawler ที่เราตรวจสอบ และสิ่งที่เจ้าของบริการอธิบายไว้

บทบาทของแต่ละตัวนำมาจากเอกสารทางการของแต่ละบริษัท ตรวจสอบเมื่อวันที่ 7 พฤศจิกายน 2026 เอกสารอาจมีการเปลี่ยนแปลง โปรดอ่านหน้าทางการก่อนตัดสินใจ

Crawler สำหรับการค้นหา

OAI-SearchBotOpenAI
อ่านเว็บไซต์เพื่อให้แสดงในการค้นหาของ ChatGPT หากบล็อก เว็บไซต์จะไม่แสดงในคำตอบการค้นหาของ ChatGPT แต่อาจยังแสดงเป็นลิงก์นำทางได้ (ตามที่ OpenAI ระบุ)
Claude-SearchBotAnthropic
อ่านเว็บไซต์เพื่อปรับปรุงคุณภาพผลการค้นหาของ Claude หากบล็อก เว็บไซต์จะไม่ถูกอ่านเพื่อการค้นหา ซึ่งอาจทำให้การมองเห็นและความแม่นยำในผลการค้นหาลดลง (ตามที่ Anthropic ระบุ)
PerplexityBotPerplexity
อ่านเว็บไซต์เพื่อให้ Perplexity แสดงและลิงก์ไปยังเว็บไซต์ในผลการค้นหา Perplexity ระบุว่าไม่ได้ใช้ฝึกโมเดลพื้นฐาน (foundation model) หากบล็อก จะเป็นการปฏิเสธการอ่านที่ Perplexity ใช้เพื่อแสดงเว็บไซต์ของคุณในผลการค้นหา (อ้างอิงจากคำอธิบายของ Perplexity)

Crawler สำหรับการฝึกโมเดลและอื่น ๆ

GPTBotOpenAI
อ่านเนื้อหาที่อาจถูกใช้ฝึกโมเดลพื้นฐานของ Generative AI ของ OpenAI การบล็อกเป็นการแสดงว่าคุณไม่ต้องการให้นำเนื้อหาไปใช้ฝึกโมเดล ส่วนการค้นหาของ ChatGPT ควบคุมแยกต่างหากด้วย OAI-SearchBot (ตามที่ OpenAI ระบุ)
ClaudeBotAnthropic
อ่านเนื้อหาที่อาจถูกใช้ฝึกโมเดล Generative AI ของ Anthropic การบล็อกเป็นการขอให้ Anthropic ไม่นำเนื้อหาในอนาคตของคุณไปรวมในข้อมูลฝึกโมเดล (ตามที่ Anthropic ระบุ)
Google-ExtendedGoogle
โทเค็นควบคุมว่าจะให้ใช้เนื้อหาเพื่อฝึกโมเดล Gemini ในอนาคตและเพื่ออ้างอิงข้อมูลในคำตอบ (grounding) หรือไม่ ไม่ได้ crawl เว็บไซต์ด้วยตัวเอง Google ระบุว่าไม่มีผลต่อการแสดงหรืออันดับใน Google Search
Applebot-ExtendedApple
โทเค็นควบคุมว่า Apple จะใช้เนื้อหาสำหรับ Generative AI ของตนได้หรือไม่ ไม่ได้ crawl เว็บไซต์ด้วยตัวเอง Apple ระบุว่าหน้าที่ถูกบล็อกยังแสดงในผลการค้นหาของ Apple ได้ และไม่ได้ใช้ในการจัดอันดับ
CCBotCommon Crawl
เก็บข้อมูลให้ Common Crawl ซึ่งเป็นองค์กรไม่แสวงหากำไรที่เปิดชุดข้อมูลให้นักวิจัยและบริษัทใช้ได้ฟรี หน้าทางการไม่ได้กล่าวถึงการฝึก AI แต่เนื่องจากข้อมูลเป็นสาธารณะ เราคาดว่าอาจถูกนำไปใช้ฝึกโมเดลได้ด้วย (เป็นการคาดการณ์ของเรา) หากบล็อก Common Crawl จะหยุดอ่านเว็บไซต์ของคุณ เราไม่ทราบว่าข้อมูลที่เผยแพร่ไปแล้วจะถูกจัดการอย่างไร

วิธีบล็อก Crawler

การเพิ่มบรรทัดเหล่านี้ใน robots.txt เป็นการขอให้ Crawler ที่ระบุชื่อไม่อ่านส่วนใดของเว็บไซต์เลย เปลี่ยนชื่อเพื่อใช้กับ Crawler ตัวอื่น robots.txt เป็นเพียงคำขอ ไม่ได้รับประกันว่าหน้าเว็บจะไม่ถูกอ่าน

User-agent: GPTBot
Disallow: /

เอกสารทางการ

หากต้องการตรวจสอบชื่อหน้า คำอธิบาย และ noindex ใช้เครื่องมือตรวจสอบ Title และ Meta Description

เครื่องมือฟรีอื่น ๆ