คำตอบจาก AI
ควรบล็อก GPTBot ไหม: ครอว์เลอร์ฝึก AI กับครอว์เลอร์ค้นหา AI
คำตอบสั้นๆ
การบล็อก GPTBot เป็นนโยบายที่ธุรกิจของคุณเลือกเองได้ GPTBot เก็บเนื้อหาที่อาจถูกใช้ฝึกโมเดลของ OpenAI ส่วน OAI-SearchBot เป็นตัวกำหนดว่าเว็บของคุณจะปรากฏใน ChatGPT search หรือไม่ และ OpenAI ระบุว่าการตั้งค่าแต่ละตัวเป็นอิสระต่อกัน ข้อผิดพลาดที่พบบ่อยคือบล็อกทุกอย่าง ทั้งที่ตั้งใจแค่ไม่ให้นำไปฝึกโมเดล
แต่ละบริษัทตั้งชื่อครอว์เลอร์ตามวัตถุประสงค์
ด้านล่างคือวัตถุประสงค์ที่ระบุในเอกสารของแต่ละบริษัท ตรวจสอบเมื่อ 17 พฤศจิกายน 2026
- OpenAI: GPTBot สำหรับการฝึกโมเดล, OAI-SearchBot สำหรับ ChatGPT search, ChatGPT-User สำหรับการทำงานที่ผู้ใช้สั่ง
- Anthropic: ClaudeBot สำหรับการฝึกโมเดล, Claude-SearchBot สำหรับคุณภาพการค้นหา, Claude-User เมื่อมีคนถามคำถามกับ Claude
- Perplexity: PerplexityBot สำหรับผลการค้นหา ซึ่ง Perplexity ระบุว่าไม่ได้ใช้ฝึก foundation model, Perplexity-User สำหรับคำขอของผู้ใช้
- Google: Googlebot สำหรับ Search ส่วน Google-Extended ควบคุมว่าเนื้อหาจะถูกใช้ฝึก Gemini ในอนาคตและใช้สำหรับ grounding หรือไม่ และ Google ระบุว่าไม่มีผลต่อการแสดงหรืออันดับใน Search
เขียน robots.txt ตามเป้าหมาย
robots.txt คือไฟล์ที่อยู่ในรากของเว็บไซต์ ใช้ให้คำสั่งกับครอว์เลอร์
- อนุญาตทั้งสองตัว: ไม่ต้องเพิ่มอะไร ถ้าอนุญาตทั้งคู่ OpenAI อาจใช้การครอว์ลครั้งเดียวสำหรับทั้งสองวัตถุประสงค์
- ไม่ให้นำไปฝึกโมเดล แต่ยังอยากอยู่ใน ChatGPT search: ใต้ User-agent: GPTBot ให้เพิ่ม Disallow: / และไม่ต้องแตะ OAI-SearchBot
- ไม่ให้ทั้งสองอย่าง: ใส่ Disallow ให้ทั้ง GPTBot และ OAI-SearchBot หน้าเว็บของคุณจะไม่ถูกใช้ในคำตอบของ ChatGPT search อีก
OpenAI แนะนำให้อนุญาต OAI-SearchBot ถ้าต้องการปรากฏใน ChatGPT search แต่การอนุญาตไม่ได้แปลว่าจะได้ปรากฏ
สามคำถามช่วยตัดสินใจ
ส่วนนี้เป็นความเห็นของเรา คำตอบที่เหมาะสมต่างกันไปตามธุรกิจ
- หน้าเว็บสาธารณะมีเนื้อหาต้นฉบับ เช่น รูปถ่ายหรือคู่มือ ที่คุณไม่อยากให้ถูกนำไปฝึกโมเดลไหม
- สัญญากับลูกค้าหรือนโยบายภายในกำหนดไว้แล้วไหมว่าเนื้อหานั้นใช้ได้อย่างไร
- อยากให้คนที่ใช้ผู้ช่วย AI หาผู้ให้บริการเจอธุรกิจของคุณไหม
ถ้าตอบว่าใช่ในข้อแรกหรือข้อสอง เป็นเหตุผลให้บล็อก GPTBot ถ้าตอบว่าใช่ในข้อสาม เป็นเหตุผลให้เปิด OAI-SearchBot ไว้ ทั้งสองอย่างเป็นจริงพร้อมกันได้ ถ้าไม่มีข้อไหนตรง การปล่อยค่าเริ่มต้นไว้ก็สมเหตุสมผล
แก้ข้อผิดพลาดที่พบบ่อยที่สุด
คำสั่ง “หยุด AI” มักกลายเป็นกฎที่หยุดทุกอย่าง ตัวอย่างคำขอด้านล่างเป็นตัวอย่างสมมติ
- ก่อนแก้: User-agent: * ตามด้วย Disallow: / ซึ่งมีผลกับครอว์เลอร์ทุกตัว รวมถึง Googlebot และ Bingbot
- หลังแก้: User-agent: GPTBot ตามด้วย Disallow: / มีผลเฉพาะครอว์เลอร์ที่ระบุชื่อ
- ก่อนแก้: “ช่วยบล็อก AI ให้หน่อย”
- หลังแก้: “ช่วยใส่ Disallow ให้ GPTBot, ClaudeBot และ Google-Extended แต่อย่าบล็อก OAI-SearchBot, Claude-SearchBot หรือ PerplexityBot แล้วส่งไฟล์ robots.txt หลังแก้มาให้ดูด้วย”
สิ่งที่ robots.txt ทำไม่ได้
Google ระบุว่าครอว์เลอร์จะทำตาม robots.txt หรือไม่ขึ้นอยู่กับตัวครอว์เลอร์เอง Anthropic อธิบายว่าการบล็อก ClaudeBot เป็นสัญญาณให้ไม่นำเนื้อหาในอนาคตของเว็บไปฝึกโมเดล โดยเราไม่พบคำอธิบายเกี่ยวกับเนื้อหาที่เก็บไปแล้ว OpenAI ระบุว่ากฎใน robots.txt อาจไม่มีผลกับการเข้าชมของ ChatGPT-User ที่ผู้ใช้เป็นคนสั่ง และ Perplexity ระบุว่า Perplexity-User โดยทั่วไปไม่ทำตาม robots.txt OpenAI ระบุว่าการเปลี่ยนแปลงอาจใช้เวลาประมาณ 24 ชั่วโมงกว่าจะมีผลกับการค้นหา ถ้าต้องการเก็บเนื้อหาไว้ไม่ให้คนนอกเห็น ให้ไว้หลังระบบล็อกอินแทน
ตรวจไฟล์ของคุณวันนี้
เปิดโดเมนของคุณตามด้วย /robots.txt หากลุ่มของ GPTBot และ OAI-SearchBot แล้วอ่านบรรทัด Disallow จากนั้นเช็กว่าไม่มี Disallow: / ต่อจาก User-agent: * เครื่องมือตรวจครอว์เลอร์ AI ฟรีของเราที่ https://get1pct.com/th/tools/ai-crawler-check ช่วยอ่านไฟล์และแสดงว่าครอว์เลอร์ค้นหาและครอว์เลอร์ฝึก AI ตัวไหนถูกบล็อก จดหนึ่งบรรทัดว่าตัดสินใจอย่างไรและเพราะอะไร กฎอาจถูกบังคับใช้ที่ CDN หรือไฟร์วอลล์ด้วย ซึ่ง robots.txt จะไม่แสดงให้เห็น เราตัดสินนโยบายนี้แทนคุณไม่ได้ และไม่สามารถสัญญาว่าเว็บจะปรากฏในคำตอบของ AI