毎日1%改善
無料で診断

AI のクローラーを、止めていないか確かめる

クローラーは、サイトを自動で読みに来るプログラムです。AI のクローラーを robots.txt（クローラーへの案内を書くファイル）で止めていないかを、検索用と学習用に分けて確かめます。無料で、登録は要りません。

URL を入れて確かめる

いつ使うか

  • AI の検索に自分のサイトが出てこないとき
  • 制作会社やプラグインが robots.txt を変えたあと
  • 学習用だけを止めたつもりの設定を確かめたいとき

何が分かるか

  • robots.txt が、AI のクローラーごとに全体を止めているか、一部か、止めていないか
  • どの決まりが当たっているか
  • 止めると何が起きるかの、各社の公式の説明

何が分からないか

  • CDN やサーバーの設定で止まっていても、ここには出ません
  • AI の回答に実際に載っているか、クローラーが本当に来ているか
  • 人の操作で読みに行くもの（ChatGPT-User など）の扱い

公開されている robots.txt を読むだけです。入力した URL と結果は保存しません。使いすぎを防ぐため、接続元の情報を回数の確認に一時的に使います。

見ているクローラーと、公式の説明

役割は各社の公式の資料で確かめたものです（2026 年 11 月 7 日時点）。資料は変わることがあるので、決める前に公式の説明も読んでください。

検索用

OAI-SearchBotOpenAI
ChatGPT の検索にサイトを出すために読みます。 止めると、ChatGPT の検索の回答には出ません。行き先のリンクとしては出ることがあります（OpenAI の説明）。
Claude-SearchBotAnthropic
Claude の検索の質を上げるために読みます。 止めると検索用に読まれなくなり、検索の結果での見え方や正確さが下がることがあります（Anthropic の説明）。
PerplexityBotPerplexity
Perplexity の検索の結果にサイトを出し、リンクするために読みます。AI の基盤モデルの学習には使わないと説明しています。 止めると、Perplexity の検索の結果に出すための読み取りを断ることになります（Perplexity の説明から）。

学習用など

GPTBotOpenAI
OpenAI の生成 AI の基盤モデルの学習に使うことがある内容を読みます。 止めると、学習に使わないでほしいという意思を伝えることになります。ChatGPT の検索は別の OAI-SearchBot で決まります（OpenAI の説明）。
ClaudeBotAnthropic
Anthropic の生成 AI の学習に使うことがある内容を読みます。 止めると、これからの内容を学習のデータから外すよう伝えることになります（Anthropic の説明）。
Google-ExtendedGoogle
これから作る Gemini のモデルの学習や、回答の裏付け（グラウンディング）に内容を使うかを決める印です。これ自体が読みに来るわけではありません。 Google 検索への掲載や順位には関わらないと Google は説明しています。
Applebot-ExtendedApple
Apple の生成 AI に内容を使うかを決める印です。これ自体が読みに来るわけではありません。 止めても Apple の検索の結果には載ることがあり、順位にも使わないと Apple は説明しています。
CCBotCommon Crawl
非営利団体 Common Crawl の公開データを集めるクローラーです。データは研究者や会社などに無料で公開されています。公式の説明に AI の学習の話はありませんが、公開データなので学習にも使われることがあると私たちは見ています（推測）。 止めると、Common Crawl に読まれなくなります。すでに公開されたデータがどう扱われるかは、ここでは分かりません。

止めるときの書き方

robots.txt に次のように書くと、その名前のクローラーにサイト全体を読まないよう伝えます。名前を変えれば、ほかのクローラーにも使えます。robots.txt はお願いであって、読まれないことを保証するものではありません。

User-agent: GPTBot
Disallow: /

公式の資料

ページのタイトルや検索に出さない設定を確かめたいときは、タイトルと説明文の確認をどうぞ。