AI 回答(AIO、LLMO)

llms.txt 和 robots.txt 差在哪?兩個檔案的用途與該先做哪個

更新 · 發行單位: AMA CLASS, K.K. (英文)

先說結論

robots.txt 用來控制爬蟲可以抓取哪些網址,搜尋引擎已經使用多年。llms.txt 是較新的提案:用 Markdown 為 AI 工具整理網站摘要。Google 表示 Google 搜尋不使用 llms.txt,所以它對你在 Google 搜尋上的能見度沒有幫助,也沒有傷害。請先檢查 robots.txt。把 llms.txt 視為可有可無,是我們的看法。

robots.txt 的作用

robots.txt 是放在網站最上層的純文字檔,例如 https://www.example.com/robots.txt。Google 表示,它告訴爬蟲可以存取哪些網址,主要用來管理爬蟲流量。

它不是讓網頁不出現在 Google 的方法。Google 建議改用 noindex 或密碼保護,因為被封鎖的網址如果有其他網站連過來,仍可能出現在搜尋結果。Google 也提醒,信譽良好的爬蟲會遵守規則,其他爬蟲則不一定。

llms.txt 是什麼

llms.txt 是 2024 年 9 月在 llmstxt.org 發表的提案,描述一個 Markdown 檔案,為 AI 工具提供網站的簡短精選導覽。唯一必要的部分是寫著網站名稱的最上層標題;選用的部分包括一行摘要和連結清單。

這個提案開放社群提供意見,所以應把它看成仍在討論中的建議,而不是已經定案的標準。這是我們的解讀。

兩者的差別

llms.txt 提案本身就說明這兩個檔案用途不同:robots.txt 說明哪些自動存取是可接受的;llms.txt 則是在 AI 工具需要資訊來協助使用者時,被即時讀取。

  • robots.txt:關於存取的規則。搜尋引擎和 AI 爬蟲都會讀取。寫錯可能讓搜尋引擎無法檢索你的網站
  • llms.txt:內容的摘要。Google 搜尋不使用。寫錯的影響多半是摘要過時
  • Sitemap:你希望被找到的頁面清單。提案表示,Sitemap 無法取代 llms.txt 的功能

Google 對 llms.txt 的說法

Google 的生成式 AI 功能指南表示,要出現在 Google 搜尋中,不需要新的機器可讀檔案、AI 文字檔或 Markdown,因為 Google 搜尋不會使用它們。指南也補充,為其他服務建立 llms.txt 沒有問題,但這麼做對你在 Google 搜尋上的能見度或排名既不會有害,也不會有幫助。

Google 表示,網頁要有資格出現在 Google 搜尋的 AI 功能中,必須已被索引、符合附摘要顯示的資格,而且網站沒有在 Search Console 的「搜尋生成式 AI」設定中被排除。

今天要檢查什麼

順序是我們的建議,今天做一項就夠了。

  • 打開「你的網址/robots.txt」,看「User-agent: *」底下有沒有「Disallow: /」。也要看有沒有專門給 Googlebot 的群組:Google 會採用最具體的相符群組。發現意料之外的封鎖時,先問網站管理者原因,再決定要不要修改
  • 用你的店名或公司名搜尋,確認網頁有出現
  • 如果還是想做 llms.txt,內容要和網頁保持一致,並決定由誰負責更新

截至 2026 年 11 月 8 日,我們自己的網站沒有 llms.txt。如果我們使用的服務在官方文件中要求,我們才會新增。

想了解 llms.txt 本身該不該做,可以參考「llms.txt 是什麼?Google 的立場,和小公司要不要做」。

Get1pct 適合的位置

Get1pct 是一項服務,在有合適建議的日子,最多寄給你 3 個具體的修改建議,包含類似這樣的檢查。我們無法承諾讓你出現在 AI 回答中。目前的提供情況與條件,請查看本頁說明。你也可以留下電子郵件,登記接收一次提供情況通知。

資料來源