AI 回答(AIO、LLMO)
robots.txt 怎麼檢查?手動確認有沒有擋到 Google 與 AI 爬蟲
先說結論
在網址後面加上 /robots.txt,用瀏覽器打開。找找「User-agent: *」底下有沒有「Disallow: /」,這表示要求所有爬蟲略過整個網站;也看看 OAI-SearchBot、PerplexityBot 等搜尋爬蟲的名稱底下有沒有同樣的規則。今天就能做,不需要登入任何服務。
打開檔案
robots.txt 放在網站的最上層,例如 https://www.example.com/robots.txt。Google 表示,規則只適用於檔案所在的主機、通訊協定和連接埠。shop.example.com 這類子網域有自己的檔案,如果你的預約或購物功能放在子網域上,也要打開那個檔案。
如果檔案回傳「找不到」(404),Google 會視同沒有 robots.txt,認定沒有檢索限制。
看懂 5 種常見寫法
「User-agent」指出這組規則是給哪個爬蟲的,「Disallow」指出它不該去的地方。以下解讀依據 Google 的規格與各爬蟲公司自己的文件,其他爬蟲的解讀方式可能不同。
- 「User-agent: *」接著「Disallow: /」:要求所有爬蟲略過整個網站。除非 Googlebot 有自己的群組,否則 Google 搜尋也適用。正式上線的網站出現這組規則時,請查明原因
- 「User-agent: OAI-SearchBot」接著「Disallow: /」:指名封鎖這個爬蟲。OpenAI 表示,這類網站不會出現在 ChatGPT 搜尋的回答中,但仍可能以導覽連結的形式出現
- 「User-agent: *」接著「Disallow: /wp-admin/」:只封鎖 WordPress 的管理區,公開頁面不受影響
- 「Disallow:」後面什麼都沒寫:Google 會忽略沒有路徑的規則,所以什麼都沒有封鎖
- 同時有「User-agent: *」和指名的群組:Google 的爬蟲只會遵守最具體的相符群組,忽略其他群組
搜尋爬蟲和訓練爬蟲不一樣
要確認能不能出現在 AI 搜尋的回答中,請找搜尋用的爬蟲。以下名稱出自各公司的文件。
- Googlebot:Google 搜尋。Google 搜尋中的 AI 功能,也是透過同一組給 Googlebot 的 robots.txt 規則控制
- OAI-SearchBot:ChatGPT 搜尋
- Claude-SearchBot:為 Claude 使用者改善搜尋結果
- PerplexityBot:Perplexity 的搜尋結果
GPTBot 和 ClaudeBot 收集的內容可能用於訓練,可以和搜尋分開決定。ChatGPT-User 和 Perplexity-User 是依使用者的要求而動作。OpenAI 表示 robots.txt 規則可能不適用於 ChatGPT-User,Perplexity 則表示它的擷取程式通常會忽略這些規則。
在 Search Console 確認
如果你有使用 Search Console,「設定」中的 robots.txt 報告會顯示 Google 為最多 20 個主機找到的 robots.txt 檔案、最後擷取的時間,以及任何錯誤。修正後,可以從這份報告要求重新檢索檔案。這份報告適用於網域資源,以及不含路徑的網址前置字元資源。
robots.txt 無法告訴你的事
就算確認沒有擋到某個爬蟲,以下這些仍然無法確定。
- 這不是保證。Google 表示信譽良好的爬蟲會遵守規則,其他爬蟲則不一定
- 即使 robots.txt 裡什麼都沒寫,CDN、防火牆或伺服器設定也可能擋下爬蟲。Perplexity 提到,防火牆可能需要允許它的爬蟲
- 想讓網頁不出現在搜尋中,Google 建議使用 noindex。被 robots.txt 封鎖的網頁無法被讀取,所以頁面上的 noindex 也不會被看到
- 沒有擋住爬蟲,不代表就會出現在 AI 回答中
變更也需要時間。Google 通常會快取 robots.txt 最多 24 小時;OpenAI 表示,它的搜尋系統大約需要 24 小時才會調整。
發現封鎖時
不要馬上刪掉。先問網站管理者為什麼有這條規則,它可能是開發時留下的,也可能是公司的決定。「User-agent: *」底下的「Disallow: /」也可能讓 Google 搜尋無法檢索,這一條今天就去問。這是我們的建議。
Get1pct 是一項服務,會做類似的檢查,在有合適建議的日子,最多寄給你 3 個具體的修改建議。它看不到 CDN 或伺服器的設定,也無法承諾讓你出現在 AI 回答中。目前的提供情況與條件,請查看本頁說明。你也可以留下電子郵件,登記接收一次提供情況通知。