Công cụ miễn phí

Kiểm tra robots.txt có chặn crawler AI không

Crawler là chương trình tự động đọc các website. Nhập URL để xem robots.txt của bạn có chặn crawler AI không, chia thành crawler tìm kiếm và crawler huấn luyện. Miễn phí, không cần đăng ký, không dùng AI.

Khi nào nên dùng

  • Website của bạn không xuất hiện trong câu trả lời của công cụ tìm kiếm AI
  • Lập trình viên, nhà cung cấp hosting hoặc plugin đã thay đổi robots.txt
  • Bạn chỉ muốn chặn crawler huấn luyện và muốn kiểm tra lại

Công cụ cho bạn biết

  • robots.txt chặn hoàn toàn, chặn một phần hay cho phép từng crawler AI
  • Quy tắc nào đang được áp dụng
  • Mỗi công ty chính thức nói gì về tác động của việc chặn

Công cụ không cho biết

  • Các lệnh chặn đặt trong CDN hoặc cấu hình máy chủ
  • Câu trả lời AI có thực sự trích dẫn website của bạn không, hay crawler có thực sự ghé thăm không
  • Cách xử lý các trình tải do người dùng kích hoạt như ChatGPT-User

Chúng tôi chỉ đọc tệp robots.txt công khai. Chúng tôi không lưu URL hay kết quả. Thông tin kết nối chỉ được dùng tạm thời để giới hạn số lượt yêu cầu.

Các crawler chúng tôi kiểm tra và mô tả của chủ sở hữu

Vai trò của từng crawler lấy từ tài liệu chính thức của mỗi công ty, kiểm tra ngày 7 tháng 11 năm 2026. Tài liệu có thể thay đổi, nên hãy đọc trang chính thức trước khi quyết định.

Crawler tìm kiếm

OAI-SearchBotOpenAI
Đọc website để chúng có thể xuất hiện trên ChatGPT search. Nếu bị chặn, website sẽ không xuất hiện trong câu trả lời của ChatGPT search, dù vẫn có thể xuất hiện dưới dạng link điều hướng (theo OpenAI).
Claude-SearchBotAnthropic
Đọc website để cải thiện chất lượng kết quả tìm kiếm của Claude. Nếu bị chặn, website không được đọc cho mục đích tìm kiếm, có thể làm giảm mức độ hiển thị và độ chính xác trên kết quả tìm kiếm (theo Anthropic).
PerplexityBotPerplexity
Đọc website để Perplexity có thể hiển thị và dẫn link đến chúng trên kết quả tìm kiếm. Perplexity cho biết crawler này không dùng để huấn luyện mô hình nền tảng (foundation model). Nếu bị chặn, bạn từ chối việc đọc mà Perplexity dùng để hiển thị website của bạn trên kết quả tìm kiếm (dựa trên mô tả của Perplexity).

Crawler huấn luyện và loại khác

GPTBotOpenAI
Đọc nội dung có thể được dùng để huấn luyện các mô hình nền tảng AI tạo sinh của OpenAI. Chặn crawler này cho biết bạn không muốn nội dung của mình được dùng để huấn luyện. ChatGPT search được kiểm soát riêng bởi OAI-SearchBot (theo OpenAI).
ClaudeBotAnthropic
Đọc nội dung có thể được dùng để huấn luyện các mô hình AI tạo sinh của Anthropic. Chặn crawler này là yêu cầu Anthropic loại nội dung sau này của bạn khỏi dữ liệu huấn luyện (theo Anthropic).
Google-ExtendedGoogle
Một token kiểm soát việc nội dung có được dùng để huấn luyện các mô hình Gemini trong tương lai và để làm căn cứ (grounding) cho câu trả lời hay không. Bản thân nó không tự thu thập dữ liệu. Google cho biết việc này không ảnh hưởng đến việc có mặt hay thứ hạng trên Google Search.
Applebot-ExtendedApple
Một token kiểm soát việc Apple có được dùng nội dung cho AI tạo sinh của mình hay không. Bản thân nó không tự thu thập dữ liệu. Apple cho biết các trang bị chặn vẫn có thể xuất hiện trên kết quả tìm kiếm của Apple, và token này không được dùng để xếp hạng.
CCBotCommon Crawl
Thu thập dữ liệu cho Common Crawl, một tổ chức phi lợi nhuận cung cấp miễn phí bộ dữ liệu của mình cho các nhà nghiên cứu và doanh nghiệp. Trang chính thức không nhắc đến việc huấn luyện AI, nhưng vì dữ liệu được công khai, chúng tôi cho rằng nó cũng có thể được dùng để huấn luyện (đây là giả định của chúng tôi). Nếu bị chặn, Common Crawl sẽ ngừng đọc website của bạn. Chúng tôi không biết dữ liệu đã được công bố trước đó sẽ được xử lý thế nào.

Cách chặn một crawler

Thêm các dòng sau vào robots.txt để yêu cầu crawler được nêu tên không đọc bất kỳ phần nào của website. Đổi tên để áp dụng cho crawler khác. robots.txt chỉ là một yêu cầu, không bảo đảm trang sẽ không bị đọc.

User-agent: GPTBot
Disallow: /

Tài liệu chính thức

Để kiểm tra title, description và noindex của một trang, hãy dùng công cụ kiểm tra title và meta description.

Thêm công cụ miễn phí