Công cụ miễn phí
Kiểm tra robots.txt có chặn crawler AI không
Crawler là chương trình tự động đọc các website. Nhập URL để xem robots.txt của bạn có chặn crawler AI không, chia thành crawler tìm kiếm và crawler huấn luyện. Miễn phí, không cần đăng ký, không dùng AI.
Khi nào nên dùng
- Website của bạn không xuất hiện trong câu trả lời của công cụ tìm kiếm AI
- Lập trình viên, nhà cung cấp hosting hoặc plugin đã thay đổi robots.txt
- Bạn chỉ muốn chặn crawler huấn luyện và muốn kiểm tra lại
Công cụ cho bạn biết
- robots.txt chặn hoàn toàn, chặn một phần hay cho phép từng crawler AI
- Quy tắc nào đang được áp dụng
- Mỗi công ty chính thức nói gì về tác động của việc chặn
Công cụ không cho biết
- Các lệnh chặn đặt trong CDN hoặc cấu hình máy chủ
- Câu trả lời AI có thực sự trích dẫn website của bạn không, hay crawler có thực sự ghé thăm không
- Cách xử lý các trình tải do người dùng kích hoạt như ChatGPT-User
Các crawler chúng tôi kiểm tra và mô tả của chủ sở hữu
Vai trò của từng crawler lấy từ tài liệu chính thức của mỗi công ty, kiểm tra ngày 7 tháng 11 năm 2026. Tài liệu có thể thay đổi, nên hãy đọc trang chính thức trước khi quyết định.
Crawler tìm kiếm
- OAI-SearchBotOpenAI
- Đọc website để chúng có thể xuất hiện trên ChatGPT search. Nếu bị chặn, website sẽ không xuất hiện trong câu trả lời của ChatGPT search, dù vẫn có thể xuất hiện dưới dạng link điều hướng (theo OpenAI).
- Claude-SearchBotAnthropic
- Đọc website để cải thiện chất lượng kết quả tìm kiếm của Claude. Nếu bị chặn, website không được đọc cho mục đích tìm kiếm, có thể làm giảm mức độ hiển thị và độ chính xác trên kết quả tìm kiếm (theo Anthropic).
- PerplexityBotPerplexity
- Đọc website để Perplexity có thể hiển thị và dẫn link đến chúng trên kết quả tìm kiếm. Perplexity cho biết crawler này không dùng để huấn luyện mô hình nền tảng (foundation model). Nếu bị chặn, bạn từ chối việc đọc mà Perplexity dùng để hiển thị website của bạn trên kết quả tìm kiếm (dựa trên mô tả của Perplexity).
Crawler huấn luyện và loại khác
- GPTBotOpenAI
- Đọc nội dung có thể được dùng để huấn luyện các mô hình nền tảng AI tạo sinh của OpenAI. Chặn crawler này cho biết bạn không muốn nội dung của mình được dùng để huấn luyện. ChatGPT search được kiểm soát riêng bởi OAI-SearchBot (theo OpenAI).
- ClaudeBotAnthropic
- Đọc nội dung có thể được dùng để huấn luyện các mô hình AI tạo sinh của Anthropic. Chặn crawler này là yêu cầu Anthropic loại nội dung sau này của bạn khỏi dữ liệu huấn luyện (theo Anthropic).
- Google-ExtendedGoogle
- Một token kiểm soát việc nội dung có được dùng để huấn luyện các mô hình Gemini trong tương lai và để làm căn cứ (grounding) cho câu trả lời hay không. Bản thân nó không tự thu thập dữ liệu. Google cho biết việc này không ảnh hưởng đến việc có mặt hay thứ hạng trên Google Search.
- Applebot-ExtendedApple
- Một token kiểm soát việc Apple có được dùng nội dung cho AI tạo sinh của mình hay không. Bản thân nó không tự thu thập dữ liệu. Apple cho biết các trang bị chặn vẫn có thể xuất hiện trên kết quả tìm kiếm của Apple, và token này không được dùng để xếp hạng.
- CCBotCommon Crawl
- Thu thập dữ liệu cho Common Crawl, một tổ chức phi lợi nhuận cung cấp miễn phí bộ dữ liệu của mình cho các nhà nghiên cứu và doanh nghiệp. Trang chính thức không nhắc đến việc huấn luyện AI, nhưng vì dữ liệu được công khai, chúng tôi cho rằng nó cũng có thể được dùng để huấn luyện (đây là giả định của chúng tôi). Nếu bị chặn, Common Crawl sẽ ngừng đọc website của bạn. Chúng tôi không biết dữ liệu đã được công bố trước đó sẽ được xử lý thế nào.
Cách chặn một crawler
Thêm các dòng sau vào robots.txt để yêu cầu crawler được nêu tên không đọc bất kỳ phần nào của website. Đổi tên để áp dụng cho crawler khác. robots.txt chỉ là một yêu cầu, không bảo đảm trang sẽ không bị đọc.
User-agent: GPTBot Disallow: /
Tài liệu chính thức
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
Để kiểm tra title, description và noindex của một trang, hãy dùng công cụ kiểm tra title và meta description.