เครื่องมือฟรี
ตรวจสอบว่า robots.txt บล็อก AI Crawler หรือไม่
Crawler คือโปรแกรมที่อ่านเว็บไซต์โดยอัตโนมัติ ใส่ URL เพื่อดูว่า robots.txt ของคุณบล็อก AI Crawler หรือไม่ โดยแยกเป็น Crawler สำหรับการค้นหาและสำหรับการฝึกโมเดล ใช้ฟรี ไม่ต้องสมัคร และไม่ใช้ AI
ใช้เมื่อไร
- เว็บไซต์ของคุณไม่ปรากฏในคำตอบของการค้นหาด้วย AI
- นักพัฒนา ผู้ให้บริการโฮสติ้ง หรือปลั๊กอินแก้ไข robots.txt
- ตั้งใจบล็อกเฉพาะ Crawler สำหรับฝึกโมเดล และอยากยืนยันว่าตั้งค่าถูกต้อง
สิ่งที่เครื่องมือแสดง
- robots.txt บล็อก AI Crawler แต่ละตัวทั้งหมด บางส่วน หรืออนุญาต
- กฎข้อใดที่มีผล
- แต่ละบริษัทอธิบายอย่างเป็นทางการว่าการบล็อกมีผลอย่างไร
สิ่งที่เครื่องมือบอกไม่ได้
- การบล็อกที่ตั้งค่าไว้ใน CDN หรือเซิร์ฟเวอร์
- คำตอบของ AI อ้างอิงเว็บไซต์ของคุณจริงหรือไม่ หรือ Crawler เข้ามาจริงหรือไม่
- การจัดการกับตัวดึงข้อมูลที่ผู้ใช้สั่งงาน เช่น ChatGPT-User
Crawler ที่เราตรวจสอบ และสิ่งที่เจ้าของบริการอธิบายไว้
บทบาทของแต่ละตัวนำมาจากเอกสารทางการของแต่ละบริษัท ตรวจสอบเมื่อวันที่ 7 พฤศจิกายน 2026 เอกสารอาจมีการเปลี่ยนแปลง โปรดอ่านหน้าทางการก่อนตัดสินใจ
Crawler สำหรับการค้นหา
- OAI-SearchBotOpenAI
- อ่านเว็บไซต์เพื่อให้แสดงในการค้นหาของ ChatGPT หากบล็อก เว็บไซต์จะไม่แสดงในคำตอบการค้นหาของ ChatGPT แต่อาจยังแสดงเป็นลิงก์นำทางได้ (ตามที่ OpenAI ระบุ)
- Claude-SearchBotAnthropic
- อ่านเว็บไซต์เพื่อปรับปรุงคุณภาพผลการค้นหาของ Claude หากบล็อก เว็บไซต์จะไม่ถูกอ่านเพื่อการค้นหา ซึ่งอาจทำให้การมองเห็นและความแม่นยำในผลการค้นหาลดลง (ตามที่ Anthropic ระบุ)
- PerplexityBotPerplexity
- อ่านเว็บไซต์เพื่อให้ Perplexity แสดงและลิงก์ไปยังเว็บไซต์ในผลการค้นหา Perplexity ระบุว่าไม่ได้ใช้ฝึกโมเดลพื้นฐาน (foundation model) หากบล็อก จะเป็นการปฏิเสธการอ่านที่ Perplexity ใช้เพื่อแสดงเว็บไซต์ของคุณในผลการค้นหา (อ้างอิงจากคำอธิบายของ Perplexity)
Crawler สำหรับการฝึกโมเดลและอื่น ๆ
- GPTBotOpenAI
- อ่านเนื้อหาที่อาจถูกใช้ฝึกโมเดลพื้นฐานของ Generative AI ของ OpenAI การบล็อกเป็นการแสดงว่าคุณไม่ต้องการให้นำเนื้อหาไปใช้ฝึกโมเดล ส่วนการค้นหาของ ChatGPT ควบคุมแยกต่างหากด้วย OAI-SearchBot (ตามที่ OpenAI ระบุ)
- ClaudeBotAnthropic
- อ่านเนื้อหาที่อาจถูกใช้ฝึกโมเดล Generative AI ของ Anthropic การบล็อกเป็นการขอให้ Anthropic ไม่นำเนื้อหาในอนาคตของคุณไปรวมในข้อมูลฝึกโมเดล (ตามที่ Anthropic ระบุ)
- Google-ExtendedGoogle
- โทเค็นควบคุมว่าจะให้ใช้เนื้อหาเพื่อฝึกโมเดล Gemini ในอนาคตและเพื่ออ้างอิงข้อมูลในคำตอบ (grounding) หรือไม่ ไม่ได้ crawl เว็บไซต์ด้วยตัวเอง Google ระบุว่าไม่มีผลต่อการแสดงหรืออันดับใน Google Search
- Applebot-ExtendedApple
- โทเค็นควบคุมว่า Apple จะใช้เนื้อหาสำหรับ Generative AI ของตนได้หรือไม่ ไม่ได้ crawl เว็บไซต์ด้วยตัวเอง Apple ระบุว่าหน้าที่ถูกบล็อกยังแสดงในผลการค้นหาของ Apple ได้ และไม่ได้ใช้ในการจัดอันดับ
- CCBotCommon Crawl
- เก็บข้อมูลให้ Common Crawl ซึ่งเป็นองค์กรไม่แสวงหากำไรที่เปิดชุดข้อมูลให้นักวิจัยและบริษัทใช้ได้ฟรี หน้าทางการไม่ได้กล่าวถึงการฝึก AI แต่เนื่องจากข้อมูลเป็นสาธารณะ เราคาดว่าอาจถูกนำไปใช้ฝึกโมเดลได้ด้วย (เป็นการคาดการณ์ของเรา) หากบล็อก Common Crawl จะหยุดอ่านเว็บไซต์ของคุณ เราไม่ทราบว่าข้อมูลที่เผยแพร่ไปแล้วจะถูกจัดการอย่างไร
วิธีบล็อก Crawler
การเพิ่มบรรทัดเหล่านี้ใน robots.txt เป็นการขอให้ Crawler ที่ระบุชื่อไม่อ่านส่วนใดของเว็บไซต์เลย เปลี่ยนชื่อเพื่อใช้กับ Crawler ตัวอื่น robots.txt เป็นเพียงคำขอ ไม่ได้รับประกันว่าหน้าเว็บจะไม่ถูกอ่าน
User-agent: GPTBot Disallow: /
เอกสารทางการ
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
หากต้องการตรวจสอบชื่อหน้า คำอธิบาย และ noindex ใช้เครื่องมือตรวจสอบ Title และ Meta Description