クロールバジェット：検索エンジンがサイトを訪れる頻度

クロールバジェットは、検索エンジンがウェブサイトに割り当てるクロールの注意の量を表します。Googlebot は、インターネット上のすべてのページを均等に、あるいは絶えずクロールするわけではありません。限られた資源をどこに使うかについて、経済的な選択をします。クロールバジェットは、その選択が特定のドメインにもたらす実際の結果で、一定の時間内に Google が取得できて、取得したいと考える URL の集まりです。

Google は、クロールバジェットの数値を公表せず、手動で設定させることもしません。代わりに、Google のクロールバジェットのドキュメントは、それが 2 つの根底にある要因から生まれると説明しています。これらの要因を理解することが、ページがどれだけ徹底的に、どれだけ頻繁にクロールされるかに影響を与える鍵です。特に 2026 年は、AI のクローラーがサーバーの資源に新たな負荷を加えています。

2 つの要因：クロール容量とクロールの需要

クロール容量の上限は、Googlebot がサイトのクロールに使う同時接続の最大数と、取得の間隔です。サーバーの健全性によって決まります。サイトがすばやくエラーなしで応答すれば、Google は上限を引き上げ、より積極的にクロールします。サーバーが遅くなったり、5xx エラーを返したりすれば、Google は過負荷を避けるために手を引きます。

クロールの需要は、Google がそもそもページをどれだけクロールしたいかです。人気（トラフィックとリンクを集める URL）、認識される在庫（Google が役立つと考えるページの数）、古さ（更新が必要だと Google が考えるページ）とともに高まります。大規模で、頻繁に更新され、権威のあるサイトは高いクロールの需要を生み、小規模で静的なサイトは低い需要を生みます。

実際のクロールバジェットは、この 2 つの交点です。容量が高くても需要が低ければ、クロールは軽いままで、需要が高くても遅いサーバーに抑えられれば、ページを取りこぼします。どちらのてこも重要で、サイト全体のクロールの実態と相互に作用します。

クロールバジェットを実際に気にすべきなのは誰か

ほとんどのウェブサイトは、クロールバジェットをまったく気にする必要がありません。数百から数千ページがあり、サーバーが妥当な速さなら、Google は重要なものをすべて問題なくクロールします。小規模なサイトで、クロールバジェットの最適化に力を注ぐのは、たいてい無駄な労力です。

Google は、ガイダンスの対象を、明確に 3 つのグループに絞っています。固有のページが 100 万以上あり、少なくとも週 1 回は変更される大規模なサイト、固有のページが 10,000 以上あり、毎日変更される中規模から大規模なサイト、そして Search Console で URL の大きな割合が「検出 - インデックス未登録」と表示されるサイトです。これらのいずれかに当てはまるなら、クロールバジェットは、どのページがインデックスされ、どれだけ新しく保たれるかを直接左右する、現実の制約になります。

クロールバジェットが問題かどうかを見分ける方法

最も明確なシグナルは、Google Search Console にあります。クロールの統計のレポートを開いて、Googlebot が 1 日に行うリクエストの数、平均の応答時間、可用性のエラーを確認しましょう。価値の低い URL に使われている多数のリクエストや、増加する応答時間は、非効率を示します。

ページのレポートで、「検出 - インデックス未登録」のステータスに注目しましょう。Google が URL を見つけたもののクロールしていないなら、重要なページが、ガラクタの列の後ろで待たされているかもしれません。サーバーログの分析が最も正確な方法です。Googlebot がどの URL をどれだけ頻繁に取得しているかを正確に示し、バジェットが実際にどこに使われているかと、使いたい場所との差が明らかになります。

クロールバジェットを無駄にするもの

最大の消耗源は予測できるものです。ファセットナビゲーションと URL パラメーターは、絞り込みや並べ替えをしたページの、ほぼ無限の組み合わせを生み、それぞれが Googlebot がクロールしようとしうる固有の URL です。URL のセッション ID も、同じ重複の爆発を生みます。こうした無駄な取得の 1 つひとつが、本物のページに使われなかった取得です。

ほかのよくある無駄には、長いリダイレクトのチェーン、存在しないコンテンツに 200 のステータスを返すソフト 404 のページ、複数の URL にまたがる重複コンテンツ、際限なくリンクを生成する無限スクロールやカレンダーのページ、無効な URL を指す古いサイトマップがあります。これらはいずれも、最新の商品、記事、ランディングページに、そして大切なページのより良いインデックスに回すべきクロール容量を消費します。

クロールバジェットを最適化する方法

まず、Google にクロールさせるべきでないものをブロックしましょう。robots.txt ファイルを使って、ファセットのパラメーター、サイト内検索の結果、そのほかの価値の低い URL のパターンを禁止します。Google は、ここで適切なツールは noindex ではなく robots.txt だと述べています。noindex のページは、読まれるためにやはりクロールされる必要があり、バジェットを使いますが、禁止されたパスは飛ばされるからです。

次に、ステータスコードを整理します。恒久的に削除したページには 404 か 410 を返して、Google がリクエストをやめるようにします。canonical タグで重複コンテンツを統合し、リンクを最終的な URL に直接向けて、リダイレクトのチェーンをなくします。それぞれの修正が、それに値するページのための取得を取り戻します。

最後に、正直な lastmod の日付でXML サイトマップを正確に保ち、Google がクロール容量の上限を引き上げるよう、サーバーの速度を改善しましょう。ほかの条件が同じなら、速いサイトは、より徹底的にクロールされるサイトです。

2026 年のクロールバジェットと AI のクローラー

サーバーの注意をめぐって競っているのは、もはや Googlebot だけではありません。AIは、回答で引用するコンテンツを集めて更新するために、OpenAI の GPTBot と OAI-SearchBot、Anthropic の ClaudeBot、PerplexityBot など、独自のボットを展開しています。これらのクローラーは、本物の帯域とサーバーのサイクルを消費します。

2025 年のサーバーのデータは、AI と検索のクローラーのトラフィックが急激に増え、いくつかのボットは前年比で数百パーセント伸びたことを示しました。実際的な影響は、Google のクロールバジェットを守るのと同じサイトの健全性と効率化の取り組みが、AI のクローラーのパフォーマンスも守るということです。速いサーバーとすっきりした URL の構造は、Googlebot から AI 検索を支えるエンジンまで、すべてのボットが、限られたクロールを、取得する価値のあるページに使う助けになります。

クロールバジェットとインデックス：よくある混同

クロールとインデックスは別の段階で、混同すると労力が無駄になります。クロールバジェットが管理するのは、Google が URL を取得するかどうか、どれだけ頻繁に取得するかです。インデックスは、クロールしたページが、保存して結果に表示する価値があるかどうかの、別の判断です。ページはクロールされた後で、Google が価値が低いと判断して、意図的にインデックスされないことがあります。

これは診断で重要です。ページが「検出済み」なのにクロールされていないなら、それはクロールバジェットか発見の問題で、上記の修正が当てはまります。ページが「クロール済み」なのにインデックスされていないなら、問題は通常、コンテンツの質、薄いコンテンツ、重複にあり、クロールの最適化をどれだけ行っても解決しません。対処する前に、どの段階が失敗しているかを見極めましょう。

サイトの種類別クロールバジェット最適化：どこから始めるべきか？

クロールバジェットの最適化は、サイトの種類を見極めるところから始まります。種類ごとにクロールの無駄遣いのしかたが異なるからです。大規模サイト向けの Google のガイドによると、このテーマが主に関係するのは、ページ数が非常に多いサイトや、ページが非常に頻繁に変わるサイトです。小規模なサイトでは、コンテンツの質と内部リンクのほうがはるかに重要です。

サイトの種類	よくある無駄	最初の対策
大規模な EC サイト	絞り込み、並べ替え、パラメータが生む無数の URL の組み合わせ	価値のある絞り込みページだけをインデックス可能にし、残りは canonical タグでメインカテゴリを指定し、リンクしない
ニュースやメディアのサイト	新しい記事の発見が遅い	公開のたびに正確な lastmod 付きで更新されるサイトマップと高速なサーバー
移行後のサイト	リダイレクトチェーンと、まだリンクされている古い URL	1 回で完結する 301 リダイレクトと、最終 URL への内部リンクの更新
JavaScript に大きく依存するサイト	レンダリング後にしか表示されないコンテンツ	主要テンプレートのサーバーサイド レンダリングまたはプリレンダリング
サイト内検索やユーザー プロフィールがあるサイト	内容の薄いほぼ重複したページが数千件	robots.txt でサイト内検索結果をブロックし、薄いページをインデックスから外す

種類にかかわらず、順序は同じです。まず無駄を取り除き、次に重要なページにたどり着きやすくし、数週間後にクロールの統計情報レポートで効果を確認します。ページにたどり着きやすくする主な手段は内部リンクです。関連する複数の記事からリンクされたページは、孤立したページより早く発見され、再クロールされます。Sorank は記事を公開するたびにこうしたリンクを自動で追加するため、新しいコンテンツがサイトの他の部分とつながった状態を保てます。

まとめ

クロールバジェットは、一定の期間内に、検索エンジンがサイトでクロールできて、クロールしたいと考える URL の数で、クロール容量の上限（サーバーの健全性）とクロールの需要（人気、在庫、鮮度）によって決まります。10,000 ページ以上の大規模なサイトや、「検出 - インデックス未登録」の URL が多いサイトにとっては現実の懸念で、小規模なサイトにはほとんど問題になりません。最適化するには、価値の低い URL を robots.txt でブロックし、ステータスコードとリダイレクトのチェーンを修正し、重複をなくし、サイトマップを正確に保ち、サーバーを速くします。2026 年は、その同じ衛生管理が、AI のクローラーも効率的に保ちます。Sorank の GEO SEO 診断を実行して、インデックスを損なうクロールの無駄を見つけましょう。