Câu trả lời của AI

llms.txt và robots.txt khác nhau thế nào? Bạn cần tệp nào?

Cập nhật · Đơn vị xuất bản: AMA CLASS, K.K. (tiếng Anh)

Trả lời ngắn

robots.txt kiểm soát những URL mà trình thu thập dữ liệu được phép tải, và các công cụ tìm kiếm đã dùng nó nhiều năm. llms.txt là đề xuất mới hơn: bản tóm tắt website bằng Markdown dành cho công cụ AI. Google cho biết Google Tìm kiếm không dùng llms.txt, nên tệp này không giúp cũng không hại khả năng hiển thị của bạn ở đó. Hãy kiểm tra robots.txt trước. Coi llms.txt là tùy chọn là quan điểm của chúng tôi.

robots.txt làm gì

robots.txt là tệp văn bản thuần ở cấp cao nhất của website, ví dụ https://www.example.com/robots.txt và theo Google, tệp này cho trình thu thập dữ liệu biết URL nào được truy cập, chủ yếu dùng để quản lý lưu lượng thu thập dữ liệu.

Đây không phải cách để giữ một trang khỏi Google. Google khuyên dùng noindex hoặc bảo vệ bằng mật khẩu cho mục đích đó, vì URL bị chặn vẫn có thể xuất hiện nếu website khác liên kết đến. Google cũng lưu ý trình thu thập dữ liệu uy tín tuân theo quy tắc, nhưng những trình khác có thể không.

llms.txt là gì

llms.txt là một đề xuất được công bố trên llmstxt.org vào tháng 9 năm 2024. Đề xuất mô tả một tệp Markdown cung cấp cho công cụ AI bản hướng dẫn ngắn, chọn lọc về website. Phần bắt buộc duy nhất là tiêu đề chính chứa tên website. Phần tùy chọn gồm một dòng tóm tắt và danh sách liên kết.

Đề xuất vẫn mở cho cộng đồng góp ý, nên hãy đọc như một gợi ý đang thảo luận chứ không phải tiêu chuẩn đã ổn định. Đó là cách chúng tôi hiểu.

Hai tệp khác nhau ra sao

Chính đề xuất llms.txt nói hai tệp phục vụ mục đích khác nhau. robots.txt nêu những truy cập tự động nào được chấp nhận. llms.txt được dùng để đọc khi cần, lúc một công cụ AI cần thông tin để giúp người dùng.

  • robots.txt: quy tắc truy cập. Được trình thu thập dữ liệu của công cụ tìm kiếm và AI đọc. Sai sót có thể khiến công cụ tìm kiếm ngừng thu thập dữ liệu website
  • llms.txt: bản tóm tắt nội dung. Google Tìm kiếm không dùng. Sai sót chủ yếu là bản tóm tắt lỗi thời
  • Sơ đồ trang web: danh sách trang bạn muốn được tìm thấy. Đề xuất nói sơ đồ trang web không làm thay được việc của llms.txt

Google nói gì về llms.txt

Hướng dẫn của Google về tính năng AI tạo sinh cho biết bạn không cần tệp mới để máy đọc, tệp văn bản dành cho AI hay Markdown để xuất hiện trên Google Tìm kiếm, vì Google Tìm kiếm không dùng chúng. Google nói thêm rằng tạo tệp llms.txt cho dịch vụ khác là được, và việc đó không làm hại cũng không giúp khả năng hiển thị hay thứ hạng trên Google Tìm kiếm.

Để đủ điều kiện cho tính năng AI trên Google Tìm kiếm, theo Google, trang phải được lập chỉ mục và đủ điều kiện hiển thị kèm đoạn trích, và website không bị loại trừ trong chế độ cài đặt AI tạo sinh của Tìm kiếm trong Search Console.

Cần kiểm tra gì hôm nay

Thứ tự là khuyến nghị của chúng tôi. Hôm nay làm một mục là đủ.

  • Mở yoursite.com/robots.txt và tìm "Disallow: /" bên dưới "User-agent: *". Kiểm tra cả nhóm riêng cho Googlebot: Google dùng nhóm khớp cụ thể nhất. Hỏi người quản lý website vì sao có lệnh chặn bất ngờ trước khi sửa
  • Tìm tên doanh nghiệp và xác nhận các trang của bạn xuất hiện
  • Nếu vẫn muốn có llms.txt, hãy giữ nội dung khớp với các trang và quyết định ai cập nhật

Website của chính chúng tôi chưa có llms.txt tính đến ngày 8 tháng 11 năm 2026. Chúng tôi sẽ thêm nếu một dịch vụ chúng tôi sử dụng yêu cầu trong tài liệu chính thức.

Chúng tôi ở vị trí nào

Get1pct là dịch vụ gửi tối đa ba việc sửa cụ thể vào những ngày có ý tưởng phù hợp, gồm cả những bước kiểm tra như trên. Dịch vụ không thể hứa hẹn một vị trí trong câu trả lời của AI. Hãy xem hướng dẫn trên trang này để biết tình trạng cung cấp và điều kiện hiện tại. Bạn cũng có thể để lại email để nhận một thông báo khi dịch vụ sẵn sàng.

Nguồn