robots.txt là gì? Cách tự đọc tệp của bạn, kể cả bot AI

robots.txt làm được gì, không làm được gì

Google mô tả robots.txt là tệp cho trình thu thập dữ liệu biết có thể truy cập URL nào, chủ yếu để quản lý lưu lượng thu thập dữ liệu. Tệp này không phải cơ chế để ẩn trang khỏi Google.

Một trang bị chặn trong robots.txt vẫn có thể xuất hiện trong kết quả tìm kiếm nếu website khác liên kết đến nó, chỉ là không có phần mô tả. Google cũng nói rõ: Googlebot và các bot có uy tín tuân theo robots.txt, nhưng một số bot khác có thể không tuân theo.

• Làm được: yêu cầu bot không vào một thư mục hay một loại trang
• Không làm được: ẩn hẳn trang khỏi Google (dùng noindex hoặc mật khẩu)
• Không làm được: bảo vệ thông tin riêng tư (dùng mật khẩu trên máy chủ)

Mở tệp robots.txt của bạn

Gõ địa chỉ website, thêm /robots.txt ở cuối, rồi mở bằng trình duyệt. Theo Google, quy tắc trong tệp chỉ áp dụng cho đúng máy chủ, giao thức và cổng nơi đặt tệp. Nếu trang đặt hàng chạy ở một miền con như shop.example.com, miền con đó có tệp riêng, hãy mở cả tệp đó.

Nếu trình duyệt báo không tìm thấy (lỗi 404), Google xử lý như thể không có robots.txt và giả định không có hạn chế nào. Nếu website dùng Wix, Blogger hay nền tảng tương tự, có thể bạn không sửa trực tiếp được tệp này mà phải dùng phần cài đặt tìm kiếm của nền tảng.

Đọc 4 dòng thường gặp

"User-agent" cho biết nhóm quy tắc dành cho bot nào. "Disallow" cho biết chỗ bot không nên vào. Cách đọc dưới đây theo quy cách của Google; bot khác có thể hiểu khác.

• "User-agent: *" rồi "Disallow: /": yêu cầu mọi bot bỏ qua toàn bộ website. Nếu Googlebot không có nhóm riêng, dòng này áp dụng cả cho Google Tìm kiếm. Trên website đang chạy, hãy hỏi vì sao nó ở đó
• "User-agent: *" rồi "Disallow: /wp-admin/": chỉ chặn khu quản trị WordPress, các trang công khai không bị chặn
• "Disallow:" không có đường dẫn phía sau: Google bỏ qua quy tắc này, nên nó không chặn gì
• Vừa có "User-agent: *" vừa có nhóm mang tên một bot: bot của Google chỉ theo nhóm cụ thể nhất khớp với nó, bỏ qua các nhóm khác

Google thường lưu robots.txt trong bộ nhớ đệm tối đa 24 giờ, nên sau khi sửa, thay đổi không có hiệu lực ngay.

Bot AI trong robots.txt

Các công ty AI có bot riêng và tự công bố tên bot. Ví dụ, OpenAI cho biết OAI-SearchBot dùng để hiển thị website trong tính năng tìm kiếm của ChatGPT, còn GPTBot thu thập nội dung có thể dùng để huấn luyện mô hình. Hai cài đặt này độc lập: bạn có thể cho phép OAI-SearchBot và chặn GPTBot.

OpenAI cũng cho biết website chặn OAI-SearchBot sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT, dù vẫn có thể xuất hiện dưới dạng liên kết điều hướng, và hệ thống có thể mất khoảng 24 giờ để cập nhật sau khi bạn sửa robots.txt. Không chặn bot không có nghĩa là website chắc chắn sẽ xuất hiện trong câu trả lời của AI.

Kiểm tra trong Search Console

Nếu đã dùng Search Console, báo cáo robots.txt cho biết Google tìm thấy những tệp robots.txt nào cho 20 máy chủ hàng đầu của website, lần tìm nạp gần nhất, và các cảnh báo hay lỗi. Báo cáo chỉ dùng được cho tài sản miền hoặc tài sản có tiền tố URL không có đường dẫn (như https://example.com/). Trong trường hợp khẩn cấp, bạn có thể yêu cầu Google thu thập lại tệp từ báo cáo này.

Nếu thấy một dòng chặn

Đừng xoá ngay. Hãy hỏi người quản lý website vì sao dòng đó ở đó: có thể là dòng còn sót lại từ lúc xây dựng, cũng có thể là quyết định của công ty. Riêng "Disallow: /" dưới "User-agent: *" có thể chặn cả Google Tìm kiếm, nên hãy hỏi về dòng đó ngay hôm nay. Đây là lời khuyên của chúng tôi.

Chúng tôi đang chuẩn bị một dịch vụ kiểm tra những điểm như trên và mỗi sáng gửi 1 đến 3 việc nên sửa. Dịch vụ không thấy được cài đặt máy chủ hay CDN và không thể hứa hẹn việc xuất hiện trong câu trả lời của AI. Dịch vụ chưa mở tại Việt Nam. Hãy để lại email bên dưới để nhận tin khi dịch vụ mở.