免費工具

檢查 robots.txt 是否封鎖 AI 爬蟲

爬蟲是自動讀取網站的程式。輸入網址,就能依搜尋用和訓練用分類,查看你的 robots.txt 是否封鎖 AI 爬蟲。免費,不需註冊,也不使用 AI。

適用情境

  • 你的網站沒有出現在 AI 搜尋的回答中
  • 開發人員、主機商或外掛修改了 robots.txt
  • 原本只想封鎖訓練用爬蟲,想確認設定是否正確

可以知道的事

  • robots.txt 對每個 AI 爬蟲是完全封鎖、部分封鎖還是允許
  • 套用的是哪一條規則
  • 各家公司官方說明封鎖後會有什麼影響

無法得知的事

  • 在 CDN 或伺服器設定中做的封鎖
  • AI 回答是否真的引用你的網站,或爬蟲是否真的來過
  • ChatGPT-User 這類由使用者觸發的讀取會如何處理

我們只讀取公開的 robots.txt 檔案,不會儲存網址或結果。連線資訊僅暫時用於限制請求次數。

我們檢查的爬蟲,以及各公司的說明

各爬蟲的角色取自各公司的官方文件,確認日期為 2026 年 11 月 7 日。文件可能更新,做決定前請閱讀官方頁面。

搜尋用爬蟲

OAI-SearchBotOpenAI
讀取網站,讓網站可以出現在 ChatGPT 搜尋中。 封鎖後,網站不會出現在 ChatGPT 搜尋的回答中,但仍可能以導覽連結的形式出現(依 OpenAI 說明)。
Claude-SearchBotAnthropic
讀取網站,以提升 Claude 搜尋結果的品質。 封鎖後,網站不會被讀取用於搜尋,可能降低網站在搜尋結果中的能見度和準確度(依 Anthropic 說明)。
PerplexityBotPerplexity
讀取網站,讓 Perplexity 能在搜尋結果中顯示並連結網站。Perplexity 表示不會用來訓練基礎模型。 封鎖後,等於拒絕 Perplexity 為了在搜尋結果中顯示你的網站而進行的讀取(根據 Perplexity 的說明)。

訓練用及其他爬蟲

GPTBotOpenAI
讀取可能用於訓練 OpenAI 生成式 AI 基礎模型的內容。 封鎖它表示你不希望內容被用於訓練。ChatGPT 搜尋則另外由 OAI-SearchBot 控制(依 OpenAI 說明)。
ClaudeBotAnthropic
讀取可能用於訓練 Anthropic 生成式 AI 模型的內容。 封鎖它等於要求 Anthropic 將你日後的內容排除在訓練資料之外(依 Anthropic 說明)。
Google-ExtendedGoogle
控制內容是否用於訓練未來的 Gemini 模型,以及是否作為回答依據(grounding)的控制標記,本身不會進行爬取。 Google 表示這不會影響網站是否收錄於 Google 搜尋,也不影響排名。
Applebot-ExtendedApple
控制 Apple 是否可將內容用於其生成式 AI 的控制標記,本身不會進行爬取。 Apple 表示被封鎖的頁面仍可能出現在 Apple 的搜尋結果中,且不會用於排名。
CCBotCommon Crawl
為 Common Crawl 收集資料。Common Crawl 是將資料集免費提供給研究人員和企業的非營利組織。官方頁面沒有提到 AI 訓練,但由於資料是公開的,我們認為也可能被用於訓練(此為我們的推測)。 封鎖後,Common Crawl 會停止讀取你的網站。已經公開的資料會如何處理,我們無法得知。

如何封鎖爬蟲

在 robots.txt 加入以下兩行,就是要求指定的爬蟲不要讀取網站的任何部分。把名稱換掉,就能套用到其他爬蟲。robots.txt 只是請求,並不保證頁面不會被讀取。

User-agent: GPTBot
Disallow: /

官方文件

要檢查頁面的標題、說明和 noindex,請使用網站標題與 meta description 檢查。

其他免費工具