AI クローラー：2026 年に GPTBot、ClaudeBot、PerplexityBot はどうサイトを読むか

AI クローラーは、人工知能システムのためにコンテンツを集めようと Web サイトを訪れる自動プログラムです。従来の検索エンジンのクローラーとよく似て、ページを取得してテキストを読みますが、AI に特有の目的で動きます。基盤モデルの学習、AI の答えのためのインデックス作成、ユーザーが質問したときのリアルタイムでのページ取得です。最も活発な 3 つは、OpenAI の GPTBot、Anthropic の ClaudeBot、Perplexity の PerplexityBot です。

これらが重要なのは、AI での可視性への入り口だからです。AI クローラーがコンテンツに到達できなければ、そのコンテンツは ChatGPT、Claude、Perplexity で引用されず、人々がますます頼るモデルに反映されることもありません。どんなクローラーが存在し、どう制御するかを理解することは、今やテクニカル SEO と GEO の中核です。

AI クローラーとは

AI クローラーは、従来の検索インデックスではなく、AI システムに供給するために Web ページを取得するボットです。それぞれが HTTP リクエストヘッダーに固有のユーザーエージェント文字列で名乗るので、サイト所有者は、それを見分け、AI クローラーのログでその挙動を調べ、許可するかブロックするかを決められます。その意味で、それぞれが、身元を宣言した専用のクローラーボットです。

集められたコンテンツは、3 つの用途のいずれかに流れます。次世代のモデルの学習、AI の答えで引用できるようにページをインデックスすること、特定のプロンプトに答えるためにライブでページを供給することです。あるクローラーがどの用途に使われるかを知ることが、うまく管理する鍵です。ブロックした場合の結果は、それぞれで大きく異なるからです。

知っておくべき主な AI クローラー

OpenAI は、学習と ChatGPT 検索のための GPTBot、検索機能を支える OAI-SearchBot、ユーザーが引き金となるライブ取得のための ChatGPT-User を運用しています。Anthropic も同様で、学習用の ClaudeBot、製品内の検索インデックス用の Claude-SearchBot、オンデマンドのリクエスト用の Claude-User があります。Perplexity は、インデックス用の PerplexityBot と、ユーザーが開始する取得用の Perplexity-User を運用しています。

学習に関して、ほかに 2 つ重要なものがあります。Google-Extended は、あなたのコンテンツが Gemini と AI による概要に使われるかどうかを制御し、重要なことに、通常の Google 検索の順位には影響しません。CCBot は、多くのモデルが間接的に学習に使う公開アーカイブ、Common Crawl に供給します。OpenAI のクローラーだけでもパターンは明らかです。1 つの会社に複数のボットがあり、それぞれ役割が違います。

AI クローラーの仕組み：学習、検索、ユーザーによる取得

AI 企業は一般に、3 層のクローラー構成を運用しています。GPTBot、ClaudeBot、Google-Extended、CCBot を含む学習用ボットは、将来のモデルを改善するため、定期的なクロールで大量のテキストを集め、モデルが何を知るかを形づくる AI の学習データに供給します。その動きは、特定の単一のクエリとは結びついていません。

OAI-SearchBot、Claude-SearchBot、PerplexityBot のような検索ボットは、ページが AI の答えの中で表示され、引用されるよう、インデックスを作ります。ChatGPT-User、Claude-User、Perplexity-User を含むユーザー起点のフェッチャーは、人が関連する質問をした瞬間に、リアルタイムでページを取得します。この違いは重要です。ライブ取得のエージェントをブロックすると、コンテンツがすでに学習されていても、進行中の答えから外れてしまうことがあります。

AI クローラーと robots.txt：ブロックか許可か

サイトのルートにある robots.txt ファイルは、クローラーがアクセスしてよいパスを伝え、ほとんどの AI クローラーは、従来の検索ボットと同じようにそれに従います。そのため、各ボットを選択的に許可またはブロックできます。たとえば、公開ページでは検索とライブ取得のエージェントを許可しつつ、学習用ボットや機微なセクションを制限できます。学習はブロックしてもライブの答えには残りたいなら、ChatGPT-User を許可したまま GPTBot を禁止する、という設定が考えられます。

注意点があります。robots.txt は丁寧なお願いであり、すべてのクローラーが従うわけではありません。ByteDance の Bytespider には、従わなかった実績が記録されており、HAProxy は、2024 年の AI クローラーのトラフィックのほぼ 90% が Bytespider 単独によるもので、その多くが禁止ルールを無視していたと報告しました。Perplexity の取得にも、クロール禁止の指示を回避するため、ユーザーエージェントや IP アドレスを入れ替えていたことが記録されており、非公開コンテンツを本当に守るには、robots.txt だけでなく、ファイアウォールやボット管理によるサーバーレベルのブロックが必要です。

AI クローラーが SEO と GEO にとって重要な理由

アクセスは、引用の前提条件です。コンテンツがクロールされ、インデックスされ、信頼されれば、AI の答えに現れ、モデルの知識に反映されえますが、ブロックされていれば、できません。すべての AI ボットをブロックすると、ChatGPT 検索、Claude の Web 検索、Perplexity の答えからブランドが消えてしまい、これはAI 検索での可視性への直接のコストで、公開ページの保護より大きくなるのが普通です。

経済性は、ますます許可する側に傾いています。Semrush によれば、AI 検索からの訪問者は、要約を読んだうえで高い意図を持って訪れるため、平均的な従来の自然検索の訪問者の 4.4 倍の価値があると報告されています。鮮度も重要です。AI ボットのヒットの約 65% が過去 1 年以内に公開されたページを狙っており、定期的な公開が報われます。

AI クローラーのアクセスを管理する方法

まず目標を決めましょう。ほとんどのマーケティング系や SaaS のブランドは、可視性を最大化するため、主要なクローラーを許可するべきですが、知的財産を守りたい発行者は、学習用ボットをブロックすることを選ぶかもしれません。そのうえで robots.txt で選択的に実装します。公開コンテンツでは、引用につながるエージェントとライブ取得のエージェントを許可し、本当に機微なものや有料の壁の内側だけを制限します。

サーバーログを確認し、ユーザーエージェントは偽装されうるので IP でクローラーの身元を確認して、実際に何が起きているかを検証しましょう。従わないボットには、サーバーレベルのルールを追加します。最後に、クローラーが到達できるページが、引用に値するページであるようにします。ここで、規律あるキーワード調査とコンテンツ計画が、アクセスと需要を揃え、最良の素材のきれいなクロールを支えます。

課題と限界

最大の課題は、可視性と管理の間の緊張です。クローラーを許可すれば、直接収益化していないコンテンツをモデルや回答エンジンに与えることになり、ブロックすれば、知的財産を守れる代わりに AI での可視性が消えます。万能の正解はなく、ビジネスモデルによって決まります。

2 つ目の課題は、強制力です。robots.txt は任意なので、ブロックできるのは行儀のよいボットだけで、それ以外を止めるにはインフラの作業が必要です。クローラーの名前、挙動、遵守状況も時間とともに変わるので、一度決めた方針は、見直してログを見張らなければ、いずれ古くなります。

まとめ

AI クローラーは、モデルの学習、AI の答えのためのインデックス作成、ライブのクエリへの応答のためにページを取得するボットで、GPTBot、ClaudeBot、PerplexityBot が先頭に立っています。ほとんどは robots.txt に従うので、選択的に許可またはブロックできますが、従わないものも少数あり、すべてをブロックすれば、最も速く成長する発見チャネルから外れます。ほとんどのブランドにとって正しい動きは、主要なクローラーを許可し、コンテンツを新鮮に保ち、本当に機微なものだけを守ることです。

さらに進むには、AI クローラーのログや AI インデックスと結びつけ、Sorank の調査とコンテンツ計画のツールを使って、クロールされるページが実際の需要に合うようにしましょう。参照した情報源：Contently、Soar。