AI の回答(AIO・LLMO)
llms.txt と robots.txt の違い。役割と、先に確かめるほう
結論
robots.txt は、クローラーがどの URL を読んでよいかを伝えるファイルで、検索エンジンが長く使ってきました。llms.txt は、サイトの要点を Markdown でまとめて AI の道具に渡す、新しい提案です。Google は Google 検索で llms.txt を使っていないとしており、検索での表示には良くも悪くも影響しません。先に確かめるのは robots.txt です。llms.txt を急がなくてよいというのは私たちの考えです。
robots.txt がすること
robots.txt は、サイトの最上位に置くテキストファイルです。たとえば https://www.example.com/robots.txt の位置にあります。Google は、クローラー(サイトを自動で読みに来るプログラム)にどの URL へアクセスしてよいかを伝えるもので、主にクローラーのアクセスの量を調整するために使うと説明しています。
ページを Google に載せないための仕組みではありません。ほかのサイトからリンクされていれば、ブロックした URL が検索結果に出ることもあるため、Google は載せたくないページには noindex かパスワードでの保護を使うよう案内しています。また、信頼できるクローラーは決まりに従いますが、従わないものもあるとしています。
llms.txt とは何か
llms.txt は、2024 年 9 月に llmstxt.org で公開された提案です。AI の道具に向けて、サイトの短い案内を Markdown(記号で見出しなどを表す書き方)で書いておくファイルを考えています。必須なのはサイト名の見出しだけで、1 行の要約やリンクの一覧は任意です。
提案は意見を募っている段階なので、決まった規格というより、話し合いの途中の案として読むのがよいと私たちは考えています。作るかどうかの判断は「llms.txt は作るべき?Google の立場と、小さな会社の判断」にまとめました。
2 つの違い
llms.txt の提案そのものが、2 つは目的が違うと書いています。robots.txt は自動のアクセスとして何が許されるかを示すもの、llms.txt は AI の道具が利用者を手伝うために情報が要るとき、その場で読むためのものです。
- robots.txt: アクセスの決まり。検索エンジンや AI のクローラーが読む。書き間違えると、検索エンジンがサイトを読めなくなることがある
- llms.txt: 内容の要約。Google 検索は使わない。書き間違えても、主に要約が古くなるだけ
- サイトマップ: 見つけてほしいページの一覧。提案は、サイトマップでは llms.txt の役目を果たせないとしている
一覧の「書き間違えたときの影響」の比べ方は私たちの整理です。robots.txt は、1 行の違いで検索に影響が出ることがあるので、先に確かめる価値があると考えています。
Google が llms.txt について案内していること
Google の生成 AI 機能に向けたガイドは、Google 検索に出るために、機械向けの新しいファイルや AI 用のテキストファイル、Markdown を用意する必要はないとしています。Google 検索がそれらを使っていないからです。ほかのサービスのために llms.txt を作るのはかまわず、作っても Google 検索での見え方や順位には、良くも悪くも影響しないとも書いています。
Google 検索の AI 機能に出る条件として Google が挙げているのは、ページがインデックスに登録され、説明文(スニペット)付きで表示できること、そして Search Console の「検索の生成 AI」設定でサイトを除外していないことです。
今日確かめること
順番は私たちの勧めです。今日は 1 つだけでもかまいません。
- 自社サイトの /robots.txt を開き、「User-agent: *」の下に「Disallow: /」が無いかを見る。Googlebot だけに向けた書き方が無いかも見る。Google は、いちばん具体的に当てはまる指定を使います。思いがけない禁止があっても、変える前に制作会社や管理者に理由を聞いてください
- 自社名で検索して、ページが出るかを見る
- それでも llms.txt を作るなら、ページの内容と食い違わないようにし、更新する人を決める
robots.txt は、無料の「AI クローラーの確認」(https://get1pct.com/ja/tools/ai-crawler-check)でも読めます。読み方は「robots.txt の確認方法。AI の検索を止めていないかを見る」にあります。
このサイトにも llms.txt は置いていません(2026 年 11 月 8 日時点)。使っているサービスが公式の資料で求めるようになったら置く予定です。
毎朝の案について
毎日1%改善は、こうした確認も含めて、今日直す場所を案としてお届けするサービスです。AI の回答に載ることは約束できません。