llms.txt：AI に優しいサイトのための、提案段階のガイドファイル

20 年にわたり、robots.txt は検索エンジンのクローラーとやり取りする手段でした。サイトのルートに置いて、Google や Bing にどのページをクロールし、どのページを飛ばすかを伝えていました。今では OpenAI、Anthropic、Google などの AI アシスタントもウェブを読み取っており、そのニーズは異なります。llms.txt は、そうした AI とやり取りするための提案です。

llms.txt の提案は、Answer.AI の共同創業者ジェレミー・ハワード（Jeremy Howard）氏が 2024 年に公開したもので、言語モデルがサイトの内容を理解し、最も役立つページを見つけやすくすることを目的としています。サイトが EC ストアなのか、ニュースメディアなのか、技術ドキュメントなのかを AI システムに推測させる代わりに、llms.txt が明示的に伝えます。原則として、この明確さは AI システムがコンテンツをより正確に取得・引用する助けになり得ます。ただし、あくまで提案であり、採用済みの標準ではなく、使用を約束している AI プロバイダーもありません。

llms.txt が解決する問題

AI システムには現実的な課題があります。言語モデルは一度に限られた量のテキストしか読めず、メニュー、スクリプト、広告を含むサイト全体を、きれいで使えるテキストに変換するのは容易ではありません。ChatGPT や Gemini がサイトや製品に関する質問に答えるとき、何を優先すべきかが分かりません。製品ページとブログ記事のどちらを読むべきでしょうか。どのドキュメントページが基準になるのでしょうか。どのページが長く使え、どのページが古くなっているのでしょうか。ガイドがなければ、AI システムは限られたコンテキストを価値の低いページに浪費したり、重要なコンテンツを見逃したりするおそれがあります。

robots.txt は、検索エンジンにとっては別の課題を解決してきました。URL をブロックし、クローラーにサイトマップの場所を示し、クロールバジェットを守ることができます。しかし robots.txt はアクセスを制御するだけで、コンテンツの内容を説明するものではありません。AI システムのニーズは異なります。検索順位よりも、あなたがどの分野で権威を持っているかを理解することを重視します。

llms.txt は、このギャップを埋めることを目指しています。言語モデルに、サイトの短い要約と、厳選した主要ページの一覧を提供します。AI システムに「SaaS の請求ソリューション」のサイトだと推測させる代わりに、直接伝えることができます。目的は、最良のコンテンツを見つけやすく、使いやすくすることです。ただし、インデックスの改善や、AI の回答で引用される可能性の向上につながるという証拠は、今のところありません。

llms.txt の基本の構造と構文

llms.txt の形式はシンプルな Markdown で、人にも言語モデルにも読めます。ファイルはドメインのルート（www.example.com/llms.txt）に置き、タイトル、短い要約、任意の詳細、主要ページへのリンクを並べたセクションという決まった順序で構成します。基本的な例は次のとおりです。

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

構文は、人にも言語モデルにも読めるよう、意図的にシンプルにされています。自分が誰なのかを示し、サイトが扱う内容を要約し、最も重要なページを指し示します。robots.txt と違い、llms.txt には許可やブロックの指示は含まれません。これはガイドであってアクセスルールではなく、これに従うと約束している主要な AI プロバイダーもありません。

llms.txt ファイルの構成要素

H1 タイトル（唯一の必須要素）は、サイトまたはプロジェクトの名前です。簡潔で分かりやすくしましょう。「Example SaaS Company」は「当サイトへようこそ」よりも適切です。

引用ブロックの要約は、サイトが扱う内容を短く伝えるエレベーターピッチです。専門分野を具体的に書きましょう。「テクノロジーについて書いています」ではなく、「非同期プログラミング、テスト、本番デプロイに焦点を当てた、Python 開発者向けの技術ガイドを公開しています」と書きます。こうした具体性は、AI システムがあなたの権威性を理解する助けになります。

任意の詳細は、見出しを付けない段落やリストで、サイトの対象読者やリンク先ページの読み方など、モデルがファイルの残りを読むために必要な背景を補います。

H2 セクションは、ドキュメント、製品、ガイドなど、テーマごとにリンクをまとめます。各セクションは主要ページへのリンクを並べた Markdown のリストです。モデルに最初に読んでほしいページを選びましょう。

リンク項目は [ページ名](URL) の形式で、必要に応じてコロンとページの短い説明を続けます。各ページの正規 URL を、希望するバージョン（www あり、または なし）で指定しましょう。

Optional セクションは、「Optional」というタイトルの特別な H2 です。その下のリンクは、より短いコンテキストが必要なときに省略できるため、二次的なページはここに置きます。

ファイルに含まれないもの：llms.txt には Allow、Disallow、Crawl-Delay のフィールドも、日付のフィールドもありません。アクセスやクロールを制御するものではなく、そうしたルールは robots.txt に残ります。

さらに一歩：ページの Markdown 版

基本のファイルに加えて、この提案では、言語モデルに役立つ各ページについて、同じ URL の末尾に .md を付けた、きれいな Markdown 版を用意することも勧めています（例：www.example.com/docs/getting-started.md）。llms.txt のリンクは、これらの版を直接指すことができます。

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

一部のサイトでは、主要ページの全文を 1 つにまとめた llms-full.txt というファイルも公開しています。すべてを 1 回のリクエストで取得したいツール向けです。これは一部のドキュメントサイトで使われている慣習であり、提案の必須部分ではありません。どちらの場合も目的は同じで、モデルが読むノイズを減らすことです。

llms.txt と robots.txt：主な違い

robots.txt は主に制限的です。クローラーが入ってはいけない場所を伝えます。llms.txt は主に情報提供的です。サイトが何についてのもので、どのページが重要かを言語モデルに伝えます。robots.txt は User-agent フィールドで特定のクローラーを指定でき、主要なクローラーはこれに従います。llms.txt にはそのようなフィールドはなく、主要な AI プロバイダーもこれを読んでいるとは確認していません。

robots.txt は検索での可視性に直接影響します。ページへのクロールを禁止すれば、通常そのページはクロールされません。llms.txt は従来の検索順位には影響せず、AI での可視性への効果も実証されていません。使う場合は、両方のファイルをサイトに置き、それぞれの役割を持たせてください。

実際には、どのクローラー（GPTBot や ClaudeBot などの AI クローラーを含む）がサイトのどの部分にアクセスできるかは robots.txt で決めましょう。llms.txt は、モデルを最良のコンテンツへ導くためだけに使います。何かを制限することはできません。例：

robots.txt：選んだクローラー（例：GPTBot）に対して /checkout と /admin をブロックする
llms.txt：モデルに読んでほしいドキュメント、ガイド、製品ページだけをリンクする

実装のベストプラクティス

llms.txt ファイルを作成し、www.example.com/llms.txt に置きます。Markdown 形式の UTF-8 プレーンテキストを使いましょう。ウェブサーバーが Content-Type ヘッダー text/plain または text/markdown で配信することを確認してください。ブラウザで URL に直接アクセスしてテストし、生のテキストが表示されることを確かめます。構造が llms.txt の仕様に沿っているかも確認してください。H1 タイトル、引用ブロックの要約、リンクの H2 セクションの順です。

明確で具体的な説明を書きましょう。トップページのキャッチコピーをそのままコピーしないでください。サイトが扱う内容について正直に書きます。15 の異なるトピックで発信しているなら、それらを列挙します。特定の分野に絞っているなら、そう書きます。モデルにとっては、曖昧な説明よりも、正直で具体的な説明のほうが役に立ちます。業界を表すキーワードも含めましょう。EC サイトなら「EC、製品、価格」、SaaS 企業なら「ソフトウェア、請求、連携」と書きます。

主要ページに変更があるたびに、ファイルを更新してください。この形式には日付フィールドがないため、最新に保つのは自分次第です。サイトの主題が大きく変わったときは、要約とセクションを更新します。四半期ごとに llms.txt を見直して更新するリマインダーを設定しましょう。特に、新しいコンテンツカテゴリーを作るときや、ポジショニングを磨くときは重要です。

llms.txt の採用状況を追いましょう。一部のドキュメントプラットフォームや開発者向けツールはすでに llms.txt を公開していますが、OpenAI、Anthropic、Google DeepMind は、ウェブをクロールするときにこれを読むとは約束していません。追加するのは低コストの試みであり、何かを保証するものではありません。

llms.txt とプライバシーの懸念

llms.txt で、AI 企業が自分のコンテンツをどう使うかを制御できるのか、と考える人もいます。できません。AI 企業とプライバシー擁護者は、ウェブのクロールとモデル学習の倫理について議論しています。検索とクロールの標準は、アクセスとコンテンツ制作者への敬意のバランスを取るため、20 年以上かけて進化してきました。llms.txt はこの議論の一部ですが、モデルがあなたのコンテンツを見つけやすくするために作られたもので、その利用を制限するためのものではありません。

コンテンツを AI の学習に使われたくない場合、llms.txt は適切なツールではありません。そのための指示がないからです。代わりに、該当する AI のユーザーエージェントに対する robots.txt のルールを使いましょう。例：

User-agent: GPTBot
Disallow: /

robots.txt の遵守も任意ですが、信頼できる AI プロバイダーはクローラーの名前を公開し、これを尊重すると表明しています。より強力な保護が必要なら、サーバーまたはファイアウォールの設定でボットをブロックしてください。現時点では、どちらのファイルも法的な仕組みではありません。規制が整い、業界標準が固まるにつれて、より強固な仕組みが登場するかもしれません。

llms.txt の影響を測る

llms.txt の ROI を測るのは困難です。このファイルを使うと述べている AI プロバイダーはないからです。それでも指標は追跡できます。ファイルを追加する前後で、ChatGPT、Gemini、Claude、Perplexity での自社の言及と引用を監視しましょう。引用が増えたとしても、それは相関であって、ファイルが原因だという証明ではありません。引用には他にも多くの要因が影響するからです。まだ llms.txt を導入していない競合と、引用の伸びを比べてみましょう。

AI 言及トラッキングツールを使って、AI 検索での可視性を数値化しましょう。主要な AI アシスタントにコンテンツが引用された回数を追跡します。これにより、llms.txt を追加することでサイトに何か変化があるかどうかを、自分で判断できます。

llms.txt の将来

robots.txt が正式にインターネット標準（RFC 9309）になったのは 2022 年で、何十年も使われた後のことでした。llms.txt はまだ提案の段階で、同じ道をたどるかどうかは分かりません。ファイルがないサイトが今日ペナルティを受けることはなく、主要な AI 検索プラットフォームがこのファイルを確認すると述べた例もありません。

ファイルの作成は数分で済み、費用もかからないため、llms.txt の追加は妥当でリスクの低い試みです。特にドキュメントが豊富なサイトに向いています。ただし期待は現実的に保ちましょう。これは提案であり、効果は実証されていません。多くの場合、時間はコンテンツの品質、構造、そして AI システムが実際に頼っているシグナルに使うほうが有効です。

WordPress、Shopify、Webflow などの CMS に llms.txt を追加する方法

llms.txt はドメインのルート、つまり yourdomain.com/llms.txt でプレーンテキストとして返す必要があります。方法は、CMS がルートのファイルをどこまで扱わせてくれるかで変わります。

• 自己ホスティングのサイトと WordPress：ホスティングのファイルマネージャーや FTP でルートフォルダにアップロードします。WordPress の SEO プラグインの中には、生成と配信を代行するものもあります。
• ルートへのアップロードができないホスト型プラットフォーム（多くのサイトビルダーや EC プラットフォーム）：llms.txt の設定やアプリがあればそれを使います。なければ別の場所にファイルを置き、/llms.txt からリダイレクトを設定し、最終 URL がプレーンテキストを返すことを確認します。
• 静的サイトとヘッドレスサイト：llms.txt を public フォルダに置いてデプロイのたびに配信し、主要ページが変わったら作り直します。

無料の llms.txt ジェネレーター で内容を作り、llms.txt バリデーター で URL、コンテンツタイプ、Markdown の構造を確認しましょう。各ケースは 手順付きの設置ガイド で詳しく説明しています。

まとめ

llms.txt は、提案段階の低コストなガイドファイルで、言語モデルに最良のコンテンツを見つけてほしいサイト向けです。このシンプルな Markdown ファイルをドメインのルートに置くことで、サイトが扱う内容を説明し、主要ページへのリンクを示せます。形式は分かりやすく、実装は数分で終わりますが、使用を約束している AI プロバイダーはないため、必須要件ではなく試みとして扱いましょう。ChatGPT、Claude、Gemini、Perplexity に引用されたいなら、まずは明確で構造の整ったコンテンツと、ウェブ全体での強いシグナルに集中してください。Sorank のキーワード調査・発見ツールを使って、llms.txt ファイルで強調するトピックを見つけましょう。