GPTBot は止めていい？学習用と検索用のクローラーの違い

用途ごとに名前が違う

クローラーは、サイトを自動で読みに来るプログラムです。各社の公式の資料で、用途を確かめました（2026 年 11 月 7 日時点）。名前が似ているので、会社ごとに並べます。

• OpenAI: 学習は GPTBot、検索は OAI-SearchBot、利用者の操作は ChatGPT-User
• Anthropic: 学習は ClaudeBot、検索は Claude-SearchBot、利用者の操作は Claude-User
• Perplexity: 検索は PerplexityBot（AI の基盤モデルの学習には使わないと説明）、利用者の操作は Perplexity-User
• Google: 検索は Googlebot。Google-Extended は、これからの Gemini の学習と、回答を作るときに検索の内容を渡す使い方（grounding）に内容を使うかを決める印で、Google 検索への掲載や順位には影響しないと説明しています

Google の Search Console にある「検索の生成 AI」の設定は、別の話です。除外すると Google 検索の AI 機能に出なくなりますが、順位や通常の掲載には影響せず、学習にも影響しないと説明しています。学習を制限するなら Google-Extended です。

目的別の書き方

robots.txt（クローラーへの案内を書くファイル）に書きます。OpenAI は、それぞれの設定は互いに独立しているとしています。検索に出しながら、GPTBot を断って学習に使わないよう伝えることもできます。

• どちらも止めない: 何も書かなくてかまいません。両方を許していると、1 回の読み取りを両方の用途に使うことがあると OpenAI は説明しています
• 学習は断り、検索には出たい: User-agent: GPTBot の下に Disallow: / と書き、OAI-SearchBot は止めません
• どちらも断る: GPTBot と OAI-SearchBot の両方に Disallow: / と書きます。ChatGPT の検索の回答には出なくなります。行き先のリンクとしては出ることがあります

OpenAI は、ChatGPT の検索にサイトを出すには OAI-SearchBot を許可するよう勧めています。許可しても、必ず出るとは限りません。

決めるときの 3 つの問い

ここからは私たちの考えです。正解は会社ごとに違うので、次の 3 つを社内で確かめてください。

• 公開のページに、学習に使われたくない独自の資料や写真があるか
• 取引先との契約や社内の決まりで、扱いが決まっている内容はあるか
• ChatGPT などで自社を調べる人に、見つけてもらいたいか

1 つ目か 2 つ目が「はい」なら、GPTBot を止める理由になります。3 つ目が「はい」なら、OAI-SearchBot は止めない理由になります。両方に当てはまっても矛盾しません。どちらも特に無ければ、今のままでかまわないと私たちは考えています。

よくある取り違えの直し方

「学習を止めたい」が、そのまま全部を止める設定になっていることがあります。例と依頼文は架空のものです。

• 変更前: User-agent: * の下に Disallow: / 。これはすべてのクローラーへの決まりで、Google 検索の Googlebot など検索用にも当たります。公開中のサイトでは、理由が無ければ使わないでください
• 変更後: User-agent: GPTBot の下に Disallow: / 。止めるのは名指ししたものだけです
• 依頼の変更前: 「AI を全部止めてください」
• 依頼の変更後: 「GPTBot、ClaudeBot、Google-Extended は止めてください。OAI-SearchBot、Claude-SearchBot、PerplexityBot は止めないでください。作業のあとに robots.txt の中身を送ってください」

止めても、できないこと

robots.txt は、読み方のお願いです。次の点は知っておいてください。

• 読まれない保証にはなりません。Google は、決まりに従うかはクローラーしだいだとしています
• これからの話です。Anthropic は、ClaudeBot を止めると今後の内容を学習のデータから外す意思表示になるとしています。すでに集められた内容の扱いは、今回読んだ資料では確かめられませんでした
• 利用者の操作で読みに行くものは別です。OpenAI は ChatGPT-User に robots.txt が当たらないことがあるとし、Perplexity は Perplexity-User が通常 robots.txt を無視するとしています
• 反映に時間がかかります。OpenAI は、検索については更新から約 24 時間かかることがあるとしています
• 公開をやめる方法ではありません。見せたくない内容は、パスワードで守るなど別の方法が要ります

今日、見比べる順番

順番は私たちの進め方です。

• サイトの URL の後ろに /robots.txt を付けて開く
• GPTBot の行を探し、Disallow を読む
• OAI-SearchBot の行を探し、Disallow を読む
• User-agent: * の下に Disallow: / が無いかを読む
• 意図どおりかを社内で確かめ、決めたことを 1 行メモする

読むのが難しければ、無料の「AI クローラーの確認」（https://get1pct.com/tools/ai-crawler-check）に URL を入れると、検索用と学習用に分けて表示します。CDN やサーバーの設定で止まっている場合は、ここには出ません。読み方の詳しい説明は「robots.txt の確認方法。AI の検索を止めていないかを見る」に書きました。

私たちのサービスとの関係

今日直す場所を毎朝お届けするサービスを準備しています。登録はまだ始めていません。止めるかどうかの方針は、私たちでは決められません。AI の回答に載ることの約束もできません。