Câu trả lời của AI

Có nên chặn GPTBot? Bot huấn luyện và bot tìm kiếm AI khác nhau

Cập nhật · Đơn vị xuất bản: AMA CLASS, K.K. (tiếng Anh)

Trả lời ngắn

Chặn GPTBot là một lựa chọn chính sách mà doanh nghiệp có thể tự quyết. GPTBot thu thập nội dung có thể được dùng để huấn luyện mô hình của OpenAI, còn OAI-SearchBot quyết định website có xuất hiện trong tìm kiếm của ChatGPT hay không, và OpenAI cho biết mỗi cài đặt là độc lập. Sai lầm phổ biến là chặn tất cả trong khi chỉ muốn từ chối huấn luyện.

Mỗi công ty đặt tên bot theo mục đích

Đây là mục đích được nêu trong tài liệu của từng công ty, kiểm tra ngày 17 tháng 11 năm 2026.

  • OpenAI: GPTBot để huấn luyện, OAI-SearchBot cho tìm kiếm ChatGPT, ChatGPT-User cho các thao tác người dùng yêu cầu
  • Anthropic: ClaudeBot để huấn luyện, Claude-SearchBot cho chất lượng tìm kiếm, Claude-User khi ai đó hỏi Claude
  • Perplexity: PerplexityBot cho kết quả tìm kiếm, theo Perplexity không dùng để huấn luyện mô hình nền tảng; Perplexity-User cho yêu cầu của người dùng
  • Google: Googlebot cho Tìm kiếm. Google-Extended kiểm soát việc nội dung có được dùng để huấn luyện Gemini sau này và để làm căn cứ (grounding) hay không, và Google cho biết nó không ảnh hưởng đến việc xuất hiện hay thứ hạng trên Tìm kiếm

robots.txt cho từng mục tiêu

robots.txt là tệp ở thư mục gốc của website, đưa chỉ dẫn cho các bot thu thập dữ liệu.

  • Cho phép cả hai: không cần thêm gì. Nếu cả hai đều được phép, OpenAI có thể dùng một lần thu thập cho cả hai mục đích.
  • Từ chối huấn luyện nhưng vẫn có mặt trên tìm kiếm ChatGPT: bên dưới User-agent: GPTBot thêm Disallow: / và để nguyên OAI-SearchBot.
  • Từ chối cả hai: chặn GPTBot và OAI-SearchBot. Các trang của bạn sẽ không còn được dùng cho câu trả lời tìm kiếm của ChatGPT.

OpenAI khuyên cho phép OAI-SearchBot nếu bạn muốn xuất hiện trên tìm kiếm ChatGPT. Cho phép không có nghĩa bạn chắc chắn sẽ xuất hiện.

Ba câu hỏi để quyết định

Phần này là quan điểm của chúng tôi; câu trả lời đúng khác nhau theo từng doanh nghiệp.

  • Trang công khai có tài liệu gốc, như ảnh hay hướng dẫn, mà bạn không muốn bị dùng để huấn luyện không?
  • Hợp đồng với khách hàng hoặc chính sách nội bộ đã quy định cách dùng nội dung đó chưa?
  • Bạn có muốn người tìm nhà cung cấp qua trợ lý AI tìm thấy mình không?

Trả lời có với một trong hai câu đầu là lý do để chặn GPTBot. Trả lời có với câu thứ ba là lý do để mở OAI-SearchBot. Cả hai có thể cùng đúng. Nếu không câu nào áp dụng, giữ nguyên mặc định là hợp lý.

Sửa sai lầm phổ biến nhất

"Chặn AI" thường biến thành một quy tắc chặn tất cả. Yêu cầu ví dụ dưới đây là giả định.

  • Trước: User-agent: * kèm Disallow: / Quy tắc này áp dụng cho mọi bot, kể cả Googlebot và Bingbot.
  • Sau: User-agent: GPTBot kèm Disallow: / Chỉ bot được nêu tên bị ảnh hưởng.
  • Trước: "Nhờ chặn AI giúp."
  • Sau: "Nhờ disallow GPTBot, ClaudeBot và Google-Extended. Không chặn OAI-SearchBot, Claude-SearchBot hay PerplexityBot. Gửi tôi tệp robots.txt sau khi sửa."

Những gì robots.txt không làm được

Google lưu ý việc tuân theo robots.txt hay không là tùy bot. Anthropic mô tả việc chặn ClaudeBot là tín hiệu để loại tài liệu tương lai của website khỏi dữ liệu huấn luyện; chúng tôi không tìm thấy tuyên bố nào về nội dung đã thu thập trước đó. OpenAI cho biết quy tắc robots.txt có thể không áp dụng cho lượt truy cập ChatGPT-User do người dùng khởi tạo, và Perplexity cho biết Perplexity-User thường bỏ qua robots.txt. OpenAI cho biết thay đổi có thể mất khoảng 24 giờ để có hiệu lực với tìm kiếm. Muốn giữ nội dung riêng tư, hãy đặt sau bước đăng nhập.

Kiểm tra tệp của bạn hôm nay

Mở tên miền của bạn kèm /robots.txt. Tìm các nhóm GPTBot và OAI-SearchBot rồi đọc các dòng Disallow, sau đó kiểm tra User-agent: * không đi kèm Disallow: / Công cụ kiểm tra bot AI miễn phí của chúng tôi tại https://get1pct.com/vi/tools/ai-crawler-check đọc tệp giúp bạn và liệt kê bot tìm kiếm và bot huấn luyện AI nào đang bị chặn. Viết một dòng ghi lại bạn đã quyết định gì và vì sao. Quy tắc cũng có thể được áp dụng qua CDN hoặc tường lửa, điều robots.txt sẽ không cho thấy. Chúng tôi không thể quyết định chính sách này thay bạn hay hứa hẹn việc xuất hiện trong câu trả lời của AI.

Nguồn