免費工具
檢查 robots.txt 是否封鎖 AI 爬蟲
爬蟲是自動讀取網站的程式。輸入網址,就能依搜尋用和訓練用分類,查看你的 robots.txt 是否封鎖 AI 爬蟲。免費,不需註冊,也不使用 AI。
適用情境
- 你的網站沒有出現在 AI 搜尋的回答中
- 開發人員、主機商或外掛修改了 robots.txt
- 原本只想封鎖訓練用爬蟲,想確認設定是否正確
可以知道的事
- robots.txt 對每個 AI 爬蟲是完全封鎖、部分封鎖還是允許
- 套用的是哪一條規則
- 各家公司官方說明封鎖後會有什麼影響
無法得知的事
- 在 CDN 或伺服器設定中做的封鎖
- AI 回答是否真的引用你的網站,或爬蟲是否真的來過
- ChatGPT-User 這類由使用者觸發的讀取會如何處理
我們檢查的爬蟲,以及各公司的說明
各爬蟲的角色取自各公司的官方文件,確認日期為 2026 年 11 月 7 日。文件可能更新,做決定前請閱讀官方頁面。
搜尋用爬蟲
- OAI-SearchBotOpenAI
- 讀取網站,讓網站可以出現在 ChatGPT 搜尋中。 封鎖後,網站不會出現在 ChatGPT 搜尋的回答中,但仍可能以導覽連結的形式出現(依 OpenAI 說明)。
- Claude-SearchBotAnthropic
- 讀取網站,以提升 Claude 搜尋結果的品質。 封鎖後,網站不會被讀取用於搜尋,可能降低網站在搜尋結果中的能見度和準確度(依 Anthropic 說明)。
- PerplexityBotPerplexity
- 讀取網站,讓 Perplexity 能在搜尋結果中顯示並連結網站。Perplexity 表示不會用來訓練基礎模型。 封鎖後,等於拒絕 Perplexity 為了在搜尋結果中顯示你的網站而進行的讀取(根據 Perplexity 的說明)。
訓練用及其他爬蟲
- GPTBotOpenAI
- 讀取可能用於訓練 OpenAI 生成式 AI 基礎模型的內容。 封鎖它表示你不希望內容被用於訓練。ChatGPT 搜尋則另外由 OAI-SearchBot 控制(依 OpenAI 說明)。
- ClaudeBotAnthropic
- 讀取可能用於訓練 Anthropic 生成式 AI 模型的內容。 封鎖它等於要求 Anthropic 將你日後的內容排除在訓練資料之外(依 Anthropic 說明)。
- Google-ExtendedGoogle
- 控制內容是否用於訓練未來的 Gemini 模型,以及是否作為回答依據(grounding)的控制標記,本身不會進行爬取。 Google 表示這不會影響網站是否收錄於 Google 搜尋,也不影響排名。
- Applebot-ExtendedApple
- 控制 Apple 是否可將內容用於其生成式 AI 的控制標記,本身不會進行爬取。 Apple 表示被封鎖的頁面仍可能出現在 Apple 的搜尋結果中,且不會用於排名。
- CCBotCommon Crawl
- 為 Common Crawl 收集資料。Common Crawl 是將資料集免費提供給研究人員和企業的非營利組織。官方頁面沒有提到 AI 訓練,但由於資料是公開的,我們認為也可能被用於訓練(此為我們的推測)。 封鎖後,Common Crawl 會停止讀取你的網站。已經公開的資料會如何處理,我們無法得知。
如何封鎖爬蟲
在 robots.txt 加入以下兩行,就是要求指定的爬蟲不要讀取網站的任何部分。把名稱換掉,就能套用到其他爬蟲。robots.txt 只是請求,並不保證頁面不會被讀取。
User-agent: GPTBot Disallow: /
官方文件
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
要檢查頁面的標題、說明和 noindex,請使用網站標題與 meta description 檢查。