Câu trả lời của AI

Kiểm tra robots.txt thủ công: cách đọc tệp, gồm cả bot AI

Cập nhật · Đơn vị xuất bản: AMA CLASS, K.K. (tiếng Anh)

Trả lời ngắn

Thêm /robots.txt vào sau địa chỉ website và mở trên trình duyệt. Tìm "Disallow: /" bên dưới "User-agent: *", lệnh yêu cầu mọi trình thu thập dữ liệu bỏ qua toàn bộ website, và bên dưới tên các bot tìm kiếm như OAI-SearchBot hay PerplexityBot. Bạn có thể làm ngay hôm nay mà không cần đăng nhập vào đâu.

Mở tệp

robots.txt nằm ở cấp cao nhất của website, ví dụ https://www.example.com/robots.txt và theo Google, quy tắc chỉ áp dụng cho máy chủ, giao thức và cổng nơi đặt tệp. Tên miền phụ như shop.example.com có tệp riêng, vì vậy hãy mở cả tệp đó nếu trang đặt lịch hoặc cửa hàng của bạn chạy ở đó.

Nếu tệp trả về "not found" (404), Google coi như không có robots.txt và mặc định không có giới hạn thu thập dữ liệu.

Đọc năm mẫu thường gặp

"User-agent" cho biết nhóm quy tắc dành cho trình thu thập dữ liệu nào. "Disallow" cho biết nơi nó không nên vào. Cách đọc dưới đây theo quy cách của Google và tài liệu riêng của các công ty vận hành bot. Các bot khác có thể đọc tệp theo cách khác.

  • "User-agent: *" rồi "Disallow: /": yêu cầu mọi bot bỏ qua toàn bộ website. Trừ khi Googlebot có nhóm riêng, điều này cũng áp dụng cho Google Tìm kiếm. Trên website đang chạy, hãy tìm hiểu vì sao có dòng này
  • "User-agent: OAI-SearchBot" rồi "Disallow: /": chặn đích danh bot đó. OpenAI cho biết các website như vậy sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT, dù vẫn có thể xuất hiện dưới dạng liên kết điều hướng
  • "User-agent: *" rồi "Disallow: /wp-admin/": chỉ chặn khu vực quản trị WordPress. Các trang công khai không bị chặn
  • "Disallow:" mà không có gì phía sau: Google bỏ qua quy tắc không có đường dẫn, nên không chặn gì cả
  • Có cả "User-agent: *" và một nhóm đặt tên riêng: bot của Google chỉ theo nhóm cụ thể nhất khớp với nó và bỏ qua phần còn lại

Bot tìm kiếm và bot huấn luyện là khác nhau

Để kiểm tra bạn có thể xuất hiện trong câu trả lời tìm kiếm AI hay không, hãy tìm các bot tìm kiếm. Những tên này lấy từ tài liệu của từng công ty.

  • Googlebot: Google Tìm kiếm. Tính năng AI của Google trong Tìm kiếm được kiểm soát qua cùng quy tắc robots.txt dành cho Googlebot
  • OAI-SearchBot: tìm kiếm của ChatGPT
  • Claude-SearchBot: cải thiện kết quả tìm kiếm cho người dùng Claude
  • PerplexityBot: kết quả tìm kiếm của Perplexity

GPTBot và ClaudeBot thu thập nội dung có thể được dùng để huấn luyện. Bạn có thể quyết định về chúng tách biệt với tìm kiếm. ChatGPT-User và Perplexity-User hoạt động theo yêu cầu của một người. OpenAI cho biết quy tắc robots.txt có thể không áp dụng với nó, còn Perplexity cho biết công cụ tải của họ thường bỏ qua các quy tắc này.

Kiểm tra trong Search Console

Nếu dùng Search Console, báo cáo robots.txt trong phần Cài đặt cho thấy các tệp robots.txt Google tìm thấy cho tối đa 20 máy chủ, lần tải gần nhất và các lỗi. Sau khi sửa, bạn có thể yêu cầu thu thập lại tệp từ báo cáo này. Báo cáo dùng được cho tài sản Miền và tài sản tiền tố URL không có đường dẫn.

Những điều robots.txt không cho bạn biết

Biết rằng bạn không chặn một bot vẫn còn những điểm sau.

  • Đây không phải sự bảo đảm. Google cho biết bot uy tín tuân theo quy tắc, nhưng bot khác có thể không
  • CDN, tường lửa hoặc cài đặt máy chủ có thể chặn bot mà robots.txt không ghi gì. Perplexity lưu ý tường lửa có thể cần cho phép bot của họ
  • Để giữ một trang khỏi kết quả tìm kiếm, Google khuyên dùng noindex. Trang bị chặn trong robots.txt không đọc được, nên lệnh noindex của nó cũng không được nhìn thấy
  • Không chặn bot không có nghĩa bạn sẽ xuất hiện trong câu trả lời của AI

Thay đổi cũng cần thời gian. Google thường lưu bộ nhớ đệm robots.txt tối đa 24 giờ. OpenAI cho biết hệ thống tìm kiếm của họ có thể mất khoảng 24 giờ để cập nhật.

Nếu bạn phát hiện lệnh chặn

Đừng xóa ngay. Hãy hỏi người quản lý website vì sao có lệnh đó. Có thể đó là phần sót lại từ giai đoạn phát triển, hoặc là quyết định của công ty. "Disallow: /" bên dưới "User-agent: *" cũng có thể chặn Google Tìm kiếm, nên hãy hỏi về dòng đó ngay hôm nay. Đó là lời khuyên của chúng tôi.

Get1pct là dịch vụ chạy những bước kiểm tra như thế này và gửi tối đa ba việc sửa vào những ngày có ý tưởng phù hợp. Dịch vụ không xem được cài đặt CDN hay máy chủ, và không thể hứa hẹn một vị trí trong câu trả lời của AI. Hãy xem hướng dẫn trên trang này để biết tình trạng cung cấp và điều kiện hiện tại. Bạn cũng có thể để lại email để nhận một thông báo khi dịch vụ sẵn sàng.

Nguồn