AI 回答(AIO、LLMO)
要封鎖 GPTBot 嗎?AI 訓練爬蟲與 AI 搜尋爬蟲的差別
先說結論
要不要封鎖 GPTBot,是企業可以自行決定的政策。GPTBot 收集的內容可能用於訓練 OpenAI 的模型,OAI-SearchBot 則決定網站是否出現在 ChatGPT 搜尋,而且 OpenAI 表示兩者的設定互相獨立。常見的錯誤是:明明只想拒絕被拿去訓練,卻把所有爬蟲都擋掉。
各家公司依用途替爬蟲命名
以下是各公司文件中寫明的用途,查核日期為 2026 年 11 月 17 日。
- OpenAI:GPTBot 用於訓練,OAI-SearchBot 用於 ChatGPT 搜尋,ChatGPT-User 用於使用者要求的動作
- Anthropic:ClaudeBot 用於訓練,Claude-SearchBot 用於提升搜尋品質,Claude-User 用於有人向 Claude 提問時
- Perplexity:PerplexityBot 用於搜尋結果,Perplexity 表示它不會用來訓練基礎模型;Perplexity-User 用於使用者的請求
- Google:Googlebot 用於 Google 搜尋。Google-Extended 控制內容是否用於未來的 Gemini 訓練與 grounding(以來源為依據產生回答),Google 表示它不影響網站在 Google 搜尋中的收錄或排名
依目的設定 robots.txt
robots.txt 是放在網站根目錄、用來向爬蟲下指示的檔案。
- 兩者都允許:什麼都不用加。兩者都允許時,OpenAI 可能用一次檢索同時供兩種用途使用。
- 拒絕訓練、但保留在 ChatGPT 搜尋中:在 User-agent: GPTBot 底下加上 Disallow: /,OAI-SearchBot 維持不動。
- 兩者都拒絕:同時禁止 GPTBot 和 OAI-SearchBot。你的網頁將不再被用於 ChatGPT 搜尋的回答。
如果想出現在 ChatGPT 搜尋,OpenAI 建議允許 OAI-SearchBot。允許它並不代表一定會出現。
用三個問題做決定
這部分是我們的看法,正確答案依企業而不同。
- 公開頁面上有沒有不希望被拿去訓練的原創素材,例如照片或教學指南?
- 客戶合約或公司內部規定,是否已經寫明這些內容可以怎麼使用?
- 是否希望在 AI 助理上搜尋廠商的人能找到你?
前兩題任一題的答案為「是」,就是封鎖 GPTBot 的理由;第三題為「是」,就是讓 OAI-SearchBot 保持開放的理由。兩者可以同時成立。如果都不符合,維持預設也很合理。
修正最常見的錯誤
「擋掉 AI」常常變成擋掉一切的規則。下面的需求範例是虛構的。
- 修改前:User-agent: * 後面接 Disallow: /。這會套用到所有爬蟲,包括 Googlebot 和 Bingbot。
- 修改後:User-agent: GPTBot 後面接 Disallow: /。只影響指定的爬蟲。
- 修改前:「請幫我封鎖 AI。」
- 修改後:「請禁止 GPTBot、ClaudeBot 和 Google-Extended。不要封鎖 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot。修改完成後,請把 robots.txt 檔案寄給我。」
robots.txt 做不到的事
Google 指出,爬蟲是否遵守 robots.txt 由爬蟲自己決定。Anthropic 將封鎖 ClaudeBot 描述為一種訊號,表示網站未來的內容應排除在訓練之外;我們沒有找到關於已收集內容的說明。OpenAI 表示 robots.txt 規則可能不適用於使用者發起的 ChatGPT-User 造訪,Perplexity 則表示 Perplexity-User 通常會忽略 robots.txt。OpenAI 表示,修改大約需要 24 小時才會反映在搜尋上。如果要讓內容保持不公開,請改放在需要登入的地方。
今天就檢查你的檔案
在你的網域後面加上 /robots.txt 開啟。找出 GPTBot 和 OAI-SearchBot 的群組並讀它們的 Disallow 行,再確認 User-agent: * 後面沒有接 Disallow: /。我們的免費 AI 爬蟲檢查工具 https://get1pct.com/zh-Hant/tools/ai-crawler-check 會替你讀取檔案,列出哪些 AI 搜尋爬蟲與訓練爬蟲被封鎖。用一行字記下你的決定與理由。規則也可能由 CDN 或防火牆執行,這在 robots.txt 裡看不到。我們無法替你決定這項政策,也無法保證你會出現在 AI 的回答中。