robots.txt の確認方法。AI の検索を止めていないかを見る

開き方は、URL に足すだけ

robots.txt は、クローラー（サイトを自動で読みに来るプログラム）に、どの URL を読んでよいかを伝えるファイルです。サイトの最上位に置くと決まっています。例えば https://www.example.com/robots.txt です。ブラウザのアドレス欄に入れて開きます。

サブドメイン（shop.example.com のように前に語が付く形）は別のサイトとして扱われ、robots.txt も別です。予約やネットショップを別のアドレスで動かしているなら、そちらも開きます。

ページが見つからない（404）と出たら、Google は robots.txt が無いものとして扱い、クロールの制限は無いとみなすと案内しています。

書いてあることの読み方

User-agent はどのクローラーへの決まりかを、Disallow は読まないでほしい場所を表します。よく見る形を 5 つ挙げます。読み方は Google の仕様と WordPress の資料をもとにしています。ほかの会社のクローラーの解釈が同じとは限りません。

• User-agent: * の下に Disallow: / : すべてのクローラーに、サイト全体を読まないよう伝えています。名指しの決まりが無ければ、Google 検索の Googlebot にも当たります。公開中のサイトなら、まず理由を確かめます
• User-agent: OAI-SearchBot の下に Disallow: / : 名指しで止めています。OpenAI の説明では、ChatGPT の検索の回答には出なくなります。行き先のリンクとしては出ることがあります
• User-agent: * の下に Disallow: /wp-admin/ : 管理画面の場所だけを止めています。WordPress が自動で返す内容もこの形です。公開のページは止めていません
• Disallow: の後ろが空 : 場所の指定が無い決まりは、Google の仕様では無視されます。つまり、何も止めていません
• User-agent: * と User-agent: OAI-SearchBot の両方がある : Google のクローラーは自分に一番詳しく当たるグループだけを使い、* のグループとは合わせません。ほかのクローラーの扱いは、それぞれの資料で確かめてください

探す名前は、検索用と学習用で分ける

この記事で見たいのは検索用です。ブラウザのページ内検索で、次の名前を探します。各社の公式の資料で確かめた名前です（2026 年 11 月 7 日時点）。

• OAI-SearchBot: ChatGPT の検索にサイトを出すためのもの
• Claude-SearchBot: Claude の検索の質を高めるためのもの
• PerplexityBot: Perplexity の検索結果にサイトを出すためのもの
• Googlebot: Google 検索のためのもの。Google の AI 機能に出すかどうかの読み取りも、Googlebot への決まりで管理します

GPTBot や ClaudeBot は学習に使われることがある内容を集めるもので、止めるかどうかは検索とは別に決められます。違いは「GPTBot は止めていい？学習用と検索用のクローラーの違い」に書きました。ChatGPT-User や Perplexity-User は人の操作で読みに行くもので、robots.txt が当たらないことがあると各社が説明しています。

今日、確かめる順番

順番は私たちの進め方です。

• 自社の robots.txt を開く
• User-agent: * の下に Disallow: / が無いかを見る
• 上の 4 つの名前をページ内検索する
• 見つかったら、その下の Disallow を読む
• 読むのが難しければ、無料の「AI クローラーの確認」（https://get1pct.com/tools/ai-crawler-check）に URL を入れる
• 止めていたら、すぐ消さず、誰がなぜ入れたかを聞く

最後の項目が大切です。開発中の設定が残っているだけのこともあれば、会社の方針で止めていることもあります。ただ、User-agent: * の下の Disallow: / は、名指しの決まりが無ければ Google 検索も止めます。これが見つかったら、後回しにせず今日聞くのが私たちの勧めです。聞き方の見本です。「robots.txt に次の行があります。User-agent: OAI-SearchBot、Disallow: /。ChatGPT の検索に出ないようにする意図で入れたものでしょうか。意図が無ければ消したいと考えています」。

robots.txt だけでは分からないこと

止めていないと分かっても、次のことは別の話です。

• 読まれない保証にはなりません。Google は、決まりに従うかはクローラーしだいだとしています
• CDN（配信を速くする仕組み）やサーバーの設定で止まっていることがあります。robots.txt では見えません。Perplexity の資料も、WAF（不正なアクセスを防ぐ仕組み）で許可が要る場合があるとしています
• 検索に出さない設定は別です。Google は、ページを出したくないなら noindex を使うよう案内しています。robots.txt で止めると、noindex が読まれません
• WordPress の「検索エンジンがサイトをインデックスしないようにする」は、開発者向けの資料によると、5.3 以降は robots.txt ではなくページの中の指定で伝えます。日本語の表示設定の資料には robots.txt の説明も残っています。robots.txt が正常でも、表示設定の画面で確かめてください
• 止めていなくても、AI の回答に載るとは限りません

直したあとの反映にも時間がかかります。OpenAI は、検索については robots.txt の更新から約 24 時間かかることがあるとしています。

確認のあとに

止めていなければ、次に見るのはページの中身です。今日直す場所を毎朝お届けするサービスを準備しています。登録はまだ始めていません。AI の回答に載ることは約束できず、CDN やサーバーの設定を見ることもできません。