要点
この監査は、AI クローラーがページに到達して描画できるかを、robots.txt、meta robots、JavaScript への依存、sitemap.xml、llms.txt の観点から確認します。クロールできることが GEO の前提であり、AI のボットがコンテンツにアクセスできなければ、ページをどれだけ最適化しても引用は得られません。
さらに詳しく知るには、こちらに質問
質が高くよく整ったコンテンツを作っても、AI クローラーがそれに到達して描画できなければ、GEO には役立ちません。robots.txt の指示を 1 つ置き間違える、JavaScript に偏った描画の仕組み、llms.txt がないといったことだけで、主要な AI の学習と参照の経路からサイト全体が黙って除外されます。上のツールは、指定したドメインを監査し、GPTBot、OAI-SearchBot、PerplexityBot、Google-Extended、ClaudeBot をはじめとする主要な AI クローラーがページにアクセスし、正しく処理できるかを確認します。
この監査が確認すること
上のツールは、クロールに関わる 4 つの主な区分を評価します。
- robots.txt の指示：robots.txt を読み、どの AI クローラーの user-agent が明示的にブロックされているか、ワイルドカードのルールで誤ってブロックされているか、許可の一覧に入っていないかを見分けます。ファイル自体が読み取れるか、形式が正しいか、一部のクローラーが課す 500 KB の上限を超えていないかも確認します。
- meta robots と X-Robots-Tag のヘッダー：robots.txt でクロールを許可していても、個々のページに
noindexやnoarchiveの meta タグがあったり、サーバーの応答ヘッダーがボットにそのページを飛ばすよう指示していたりすれば意味がありません。監査では両方を調べます。 - JavaScript への依存：大切なコンテンツを JavaScript でしか届けていないページは、スクリプトを実行しないクローラーには見えません。監査では、ページの主要な内容が生の HTML にあるか、それとも端末側の描画後にしか現れないかを検出します。
- sitemap と llms.txt：よく手入れされた sitemap.xml は、AI クローラーがページを効率よく見つける助けになります。新しい規格である llms.txt は robots.txt に倣いつつ、LLM 向けに作られており、サイトのどの部分が AI の利用に適するかを宣言し、コンテンツを機械が読める形で要約できます。監査では、両方のファイルが存在し、形式が正しいかを確認します。
結果の読み方と次の一手
上のツールは、問題ごとに重大度を示します。修正の優先順位は次のとおりです。
- robots.txt で AI クローラーがブロックされている：該当する user-agent をブロックしている指示を削除するか、範囲を狭めます。利用許諾の事情で意図的にすべての AI クローラーをブロックしているなら、それが CMS のテンプレートから引き継いだワイルドカードの事故ではなく、意図した方針であることを確かめてください。
- 主要なページに noindex がある：示されたページを 1 つずつ見直します。引用してほしい価値あるコンテンツがあるなら、noindex の指示を取り除いてください。意図して除外している場合は、公開後も残った検証環境の指示ではないことを確かめます。
- JavaScript でしか見えないコンテンツ：AI クローラーに読ませたいコンテンツには、サーバー側での描画（SSR）または静的なサイト生成（SSG）を導入してください。少なくとも、ページのタイトル、見出し、本文の最初の 200 語は、JavaScript が動く前のサーバーから返される HTML に含めましょう。
- sitemap がない、または古い：canonical の URL をすべて含み、リダイレクトされるページや noindex のページを除いた新しい sitemap.xml を生成し、robots.txt から参照します。新しいコンテンツを公開するたびに自動で更新してください。
- llms.txt がない：ドメインのルートに llms.txt を作ります。少なくとも、サイトの短い説明、扱っている主なテーマ、もっとも大切なページへのリンクを入れてください。手間は少なく、AI クローラーによるサイトの分類を意味ある形で改善できる手がかりです。
AI のクロールに関する目安
AI による概要は、現在 Google のクエリのおよそ 31% に表示されており、AI による概要の下にある 1 位のページは、見込まれるクリックの最大 58% を失います（Ahrefs、2025 年）。その行き場を失った流入を受け取るのは、AI の回答の中で引用されたページです。その前提がクロールです。AI のボットがコンテンツにアクセスできなければ、ページをどれだけ最適化しても引用は得られません。だからこそ、クロールの障壁を取り除くことが、GEO の戦略でもっとも効果の大きい出発点になります。
AI によるクロールの状態と引用の成果を、主要な AI を横断して継続して見るなら、Sorank が GEO での可視性を追跡し、アクセスの状態が変わったときにお知らせします。
