คำตอบจาก AI

ควรบล็อก GPTBot ไหม: ครอว์เลอร์ฝึก AI กับครอว์เลอร์ค้นหา AI

อัปเดต · ผู้เผยแพร่: AMA CLASS, K.K. (ภาษาอังกฤษ)

คำตอบสั้นๆ

การบล็อก GPTBot เป็นนโยบายที่ธุรกิจของคุณเลือกเองได้ GPTBot เก็บเนื้อหาที่อาจถูกใช้ฝึกโมเดลของ OpenAI ส่วน OAI-SearchBot เป็นตัวกำหนดว่าเว็บของคุณจะปรากฏใน ChatGPT search หรือไม่ และ OpenAI ระบุว่าการตั้งค่าแต่ละตัวเป็นอิสระต่อกัน ข้อผิดพลาดที่พบบ่อยคือบล็อกทุกอย่าง ทั้งที่ตั้งใจแค่ไม่ให้นำไปฝึกโมเดล

แต่ละบริษัทตั้งชื่อครอว์เลอร์ตามวัตถุประสงค์

ด้านล่างคือวัตถุประสงค์ที่ระบุในเอกสารของแต่ละบริษัท ตรวจสอบเมื่อ 17 พฤศจิกายน 2026

  • OpenAI: GPTBot สำหรับการฝึกโมเดล, OAI-SearchBot สำหรับ ChatGPT search, ChatGPT-User สำหรับการทำงานที่ผู้ใช้สั่ง
  • Anthropic: ClaudeBot สำหรับการฝึกโมเดล, Claude-SearchBot สำหรับคุณภาพการค้นหา, Claude-User เมื่อมีคนถามคำถามกับ Claude
  • Perplexity: PerplexityBot สำหรับผลการค้นหา ซึ่ง Perplexity ระบุว่าไม่ได้ใช้ฝึก foundation model, Perplexity-User สำหรับคำขอของผู้ใช้
  • Google: Googlebot สำหรับ Search ส่วน Google-Extended ควบคุมว่าเนื้อหาจะถูกใช้ฝึก Gemini ในอนาคตและใช้สำหรับ grounding หรือไม่ และ Google ระบุว่าไม่มีผลต่อการแสดงหรืออันดับใน Search

เขียน robots.txt ตามเป้าหมาย

robots.txt คือไฟล์ที่อยู่ในรากของเว็บไซต์ ใช้ให้คำสั่งกับครอว์เลอร์

  • อนุญาตทั้งสองตัว: ไม่ต้องเพิ่มอะไร ถ้าอนุญาตทั้งคู่ OpenAI อาจใช้การครอว์ลครั้งเดียวสำหรับทั้งสองวัตถุประสงค์
  • ไม่ให้นำไปฝึกโมเดล แต่ยังอยากอยู่ใน ChatGPT search: ใต้ User-agent: GPTBot ให้เพิ่ม Disallow: / และไม่ต้องแตะ OAI-SearchBot
  • ไม่ให้ทั้งสองอย่าง: ใส่ Disallow ให้ทั้ง GPTBot และ OAI-SearchBot หน้าเว็บของคุณจะไม่ถูกใช้ในคำตอบของ ChatGPT search อีก

OpenAI แนะนำให้อนุญาต OAI-SearchBot ถ้าต้องการปรากฏใน ChatGPT search แต่การอนุญาตไม่ได้แปลว่าจะได้ปรากฏ

สามคำถามช่วยตัดสินใจ

ส่วนนี้เป็นความเห็นของเรา คำตอบที่เหมาะสมต่างกันไปตามธุรกิจ

  • หน้าเว็บสาธารณะมีเนื้อหาต้นฉบับ เช่น รูปถ่ายหรือคู่มือ ที่คุณไม่อยากให้ถูกนำไปฝึกโมเดลไหม
  • สัญญากับลูกค้าหรือนโยบายภายในกำหนดไว้แล้วไหมว่าเนื้อหานั้นใช้ได้อย่างไร
  • อยากให้คนที่ใช้ผู้ช่วย AI หาผู้ให้บริการเจอธุรกิจของคุณไหม

ถ้าตอบว่าใช่ในข้อแรกหรือข้อสอง เป็นเหตุผลให้บล็อก GPTBot ถ้าตอบว่าใช่ในข้อสาม เป็นเหตุผลให้เปิด OAI-SearchBot ไว้ ทั้งสองอย่างเป็นจริงพร้อมกันได้ ถ้าไม่มีข้อไหนตรง การปล่อยค่าเริ่มต้นไว้ก็สมเหตุสมผล

แก้ข้อผิดพลาดที่พบบ่อยที่สุด

คำสั่ง “หยุด AI” มักกลายเป็นกฎที่หยุดทุกอย่าง ตัวอย่างคำขอด้านล่างเป็นตัวอย่างสมมติ

  • ก่อนแก้: User-agent: * ตามด้วย Disallow: / ซึ่งมีผลกับครอว์เลอร์ทุกตัว รวมถึง Googlebot และ Bingbot
  • หลังแก้: User-agent: GPTBot ตามด้วย Disallow: / มีผลเฉพาะครอว์เลอร์ที่ระบุชื่อ
  • ก่อนแก้: “ช่วยบล็อก AI ให้หน่อย”
  • หลังแก้: “ช่วยใส่ Disallow ให้ GPTBot, ClaudeBot และ Google-Extended แต่อย่าบล็อก OAI-SearchBot, Claude-SearchBot หรือ PerplexityBot แล้วส่งไฟล์ robots.txt หลังแก้มาให้ดูด้วย”

สิ่งที่ robots.txt ทำไม่ได้

Google ระบุว่าครอว์เลอร์จะทำตาม robots.txt หรือไม่ขึ้นอยู่กับตัวครอว์เลอร์เอง Anthropic อธิบายว่าการบล็อก ClaudeBot เป็นสัญญาณให้ไม่นำเนื้อหาในอนาคตของเว็บไปฝึกโมเดล โดยเราไม่พบคำอธิบายเกี่ยวกับเนื้อหาที่เก็บไปแล้ว OpenAI ระบุว่ากฎใน robots.txt อาจไม่มีผลกับการเข้าชมของ ChatGPT-User ที่ผู้ใช้เป็นคนสั่ง และ Perplexity ระบุว่า Perplexity-User โดยทั่วไปไม่ทำตาม robots.txt OpenAI ระบุว่าการเปลี่ยนแปลงอาจใช้เวลาประมาณ 24 ชั่วโมงกว่าจะมีผลกับการค้นหา ถ้าต้องการเก็บเนื้อหาไว้ไม่ให้คนนอกเห็น ให้ไว้หลังระบบล็อกอินแทน

ตรวจไฟล์ของคุณวันนี้

เปิดโดเมนของคุณตามด้วย /robots.txt หากลุ่มของ GPTBot และ OAI-SearchBot แล้วอ่านบรรทัด Disallow จากนั้นเช็กว่าไม่มี Disallow: / ต่อจาก User-agent: * เครื่องมือตรวจครอว์เลอร์ AI ฟรีของเราที่ https://get1pct.com/th/tools/ai-crawler-check ช่วยอ่านไฟล์และแสดงว่าครอว์เลอร์ค้นหาและครอว์เลอร์ฝึก AI ตัวไหนถูกบล็อก จดหนึ่งบรรทัดว่าตัดสินใจอย่างไรและเพราะอะไร กฎอาจถูกบังคับใช้ที่ CDN หรือไฟร์วอลล์ด้วย ซึ่ง robots.txt จะไม่แสดงให้เห็น เราตัดสินนโยบายนี้แทนคุณไม่ได้ และไม่สามารถสัญญาว่าเว็บจะปรากฏในคำตอบของ AI

แหล่งอ้างอิง