AI の回答(AIO・LLMO)

llms.txt と robots.txt の違い。役割と、先に確かめるほう

更新 · 発行元: 株式会社アマクラス

結論

robots.txt は、クローラーがどの URL を読んでよいかを伝えるファイルで、検索エンジンが長く使ってきました。llms.txt は、サイトの要点を Markdown でまとめて AI の道具に渡す、新しい提案です。Google は Google 検索で llms.txt を使っていないとしており、検索での表示には良くも悪くも影響しません。先に確かめるのは robots.txt です。llms.txt を急がなくてよいというのは私たちの考えです。

robots.txt がすること

robots.txt は、サイトの最上位に置くテキストファイルです。たとえば https://www.example.com/robots.txt の位置にあります。Google は、クローラー(サイトを自動で読みに来るプログラム)にどの URL へアクセスしてよいかを伝えるもので、主にクローラーのアクセスの量を調整するために使うと説明しています。

ページを Google に載せないための仕組みではありません。ほかのサイトからリンクされていれば、ブロックした URL が検索結果に出ることもあるため、Google は載せたくないページには noindex かパスワードでの保護を使うよう案内しています。また、信頼できるクローラーは決まりに従いますが、従わないものもあるとしています。

llms.txt とは何か

llms.txt は、2024 年 9 月に llmstxt.org で公開された提案です。AI の道具に向けて、サイトの短い案内を Markdown(記号で見出しなどを表す書き方)で書いておくファイルを考えています。必須なのはサイト名の見出しだけで、1 行の要約やリンクの一覧は任意です。

提案は意見を募っている段階なので、決まった規格というより、話し合いの途中の案として読むのがよいと私たちは考えています。作るかどうかの判断は「llms.txt は作るべき?Google の立場と、小さな会社の判断」にまとめました。

2 つの違い

llms.txt の提案そのものが、2 つは目的が違うと書いています。robots.txt は自動のアクセスとして何が許されるかを示すもの、llms.txt は AI の道具が利用者を手伝うために情報が要るとき、その場で読むためのものです。

  • robots.txt: アクセスの決まり。検索エンジンや AI のクローラーが読む。書き間違えると、検索エンジンがサイトを読めなくなることがある
  • llms.txt: 内容の要約。Google 検索は使わない。書き間違えても、主に要約が古くなるだけ
  • サイトマップ: 見つけてほしいページの一覧。提案は、サイトマップでは llms.txt の役目を果たせないとしている

一覧の「書き間違えたときの影響」の比べ方は私たちの整理です。robots.txt は、1 行の違いで検索に影響が出ることがあるので、先に確かめる価値があると考えています。

Google が llms.txt について案内していること

Google の生成 AI 機能に向けたガイドは、Google 検索に出るために、機械向けの新しいファイルや AI 用のテキストファイル、Markdown を用意する必要はないとしています。Google 検索がそれらを使っていないからです。ほかのサービスのために llms.txt を作るのはかまわず、作っても Google 検索での見え方や順位には、良くも悪くも影響しないとも書いています。

Google 検索の AI 機能に出る条件として Google が挙げているのは、ページがインデックスに登録され、説明文(スニペット)付きで表示できること、そして Search Console の「検索の生成 AI」設定でサイトを除外していないことです。

今日確かめること

順番は私たちの勧めです。今日は 1 つだけでもかまいません。

  • 自社サイトの /robots.txt を開き、「User-agent: *」の下に「Disallow: /」が無いかを見る。Googlebot だけに向けた書き方が無いかも見る。Google は、いちばん具体的に当てはまる指定を使います。思いがけない禁止があっても、変える前に制作会社や管理者に理由を聞いてください
  • 自社名で検索して、ページが出るかを見る
  • それでも llms.txt を作るなら、ページの内容と食い違わないようにし、更新する人を決める

robots.txt は、無料の「AI クローラーの確認」(https://get1pct.com/ja/tools/ai-crawler-check)でも読めます。読み方は「robots.txt の確認方法。AI の検索を止めていないかを見る」にあります。

このサイトにも llms.txt は置いていません(2026 年 11 月 8 日時点)。使っているサービスが公式の資料で求めるようになったら置く予定です。

毎朝の案について

毎日1%改善は、こうした確認も含めて、今日直す場所を案としてお届けするサービスです。AI の回答に載ることは約束できません。

出典