検索エンジンの仕組みとは？クロール、インデックス、ランキング、AIの回答まで

検索エンジンの仕組みを理解することは、あらゆる SEO の判断の土台です。クロールされないページはインデックスに登録されず、インデックスにないページは検索順位を得ることも、AI アシスタントに引用されることもできません。Google はこのプロセスをGoogle 検索の仕組みに関する詳細ガイドで説明しています。この記事では同じ段階をたどりながら、Bing の違いを補足し、青いリンクの一覧の代わりに ChatGPT、Gemini、Perplexity が答えるようになると何が変わるのかを解説します。

検索エンジンとは？

検索エンジンとは、検索語に合うウェブページを見つけるソフトウェアです。2つの部分から成り立っています。すでに発見・分析されたページのデータベースであるインデックスと、どのページが検索語に最もよく答えるか、どの順番で表示するかを決めるランキングシステムです。検索語を入力したとき、検索エンジンはリアルタイムのウェブを探すのではなく、自分が保存したウェブのコピーを検索します。そのため、今朝公開したページが数日間表示されないこともあります。

技術的な選択の多くは、その規模で説明できます。Google によると、Google 検索のインデックスは数千億のウェブページを含み、そのサイズは 100,000,000 GB をはるかに超えています（Google, How Search Works）。毎日すべてを再クロールできる検索エンジンはないため、どの検索エンジンも何を取得し、何を保持し、何を表示するかに優先順位をつけています。多くの国では Google が圧倒的ですが、Bing、Yandex、Baidu、Naver、プライバシー重視の検索エンジンも同じ考え方で動いています。詳しくは Google 以外の検索エンジンのまとめをご覧ください。

検索エンジンはどのように動くのか：ステップごとの解説

3つの古典的な段階は、5つのステップに分けると対策しやすくなります。それぞれに独自の改善ポイントがあります。

ステップ1：クロール、ページを発見する

クロールは発見の段階です。クローラーと呼ばれる自動プログラム（Google の Googlebot、Bing の Bingbot）は、すでに知っている URL から出発し、リンクをたどって新しい URL を見つけます。サイト運営者が送信した XML サイトマップも読み込みます。Google によると、Googlebot はアルゴリズムを使って、どのサイトを、どのくらいの頻度で、各サイトから何ページ取得するかを決めており、サーバーに負荷をかけすぎないよう速度を調整しています。

クロールを妨げる要因は3つあります。robots.txt ファイルの disallow ルール、ログインが必要なページ、そしてサーバーのエラーやタイムアウトです。改善ポイントは、孤立ページのない整理された内部リンク構造、最新の XML サイトマップ、そして高速で安定したサーバーです。大規模サイトではクロールバジェット、つまり一定期間にクローラーがそのサイトから取得しようとする URL の数も管理します。

ステップ2：レンダリング、ブラウザのようにページを見る

多くのページは JavaScript でコンテンツを生成しています。Google は最新バージョンの Chrome でページをレンダリングするため、スクリプトを実行して訪問者と同じ内容を見ることができます。ただしレンダリングにはリソースが必要で、後回しにされることもあります。クリックしないと表示されないコンテンツや、エラーになるスクリプトに依存するコンテンツは、まったく見られない可能性があります。複数の AI クローラーを含む他の多くのクローラーは、JavaScript を一切実行しません。重要なコンテンツは最初の HTML に含めるべきです。

ステップ3：インデックス登録、理解して保存する

インデックス登録は分析の段階です。検索エンジンはテキスト、タイトル、見出し、画像、動画、構造化データを読み取り、内容の似たページをグループ化して、代表となる URL を1つ選びます。これが正規 URL（canonical）で、検索結果に表示される可能性があるのはこのバージョンです。そのページについて、言語、対象国、鮮度、使いやすさといったシグナルを保存します。Google は自社のインデックスを本の巻末にある索引にたとえており、インデックス済みのすべてのページに出現するすべての単語に項目があります。

インデックス登録は決して保証されていません。Google は、処理したすべてのページがインデックスに登録されるわけではないと明言しています。内容の薄いページや重複ページ、noindex の指定、分析を難しくするデザインは、ページが除外される原因になります。Google にページをインデックスさせる方法のガイドで対処法を解説しています。また、無料のインデックス可否チェッカーを使えば、URL がインデックス可能かどうかを数秒で確認できます。

ステップ4：ランキング、最適な答えを選ぶ

検索語が届くと、検索エンジンはまずそれを解釈します。スペル、類義語、言語、場所、そして言葉の背後にある意図（調べる、比較する、買う、特定のサイトに行く）です。次にインデックスから候補ページを取り出し、連携して働く多数のランキングシステムで並べ替えます。Google は主な要素を、検索語の意味、コンテンツの関連性、品質、ページの使いやすさ、そして場所や設定といった検索の文脈にまとめています。他サイトからのリンクは、今も権威性のシグナルです。全体像は Google のランキング要因の分析をご覧ください。

よく誤解される点が2つあります。1つ目に、Google は、サイトのクロール頻度を上げたり順位を上げたりするために支払いを受け付けていないと明言しています。広告は別に販売され、広告であることが表示されます。2つ目に、検索結果を大きく左右するのは個人の閲覧履歴よりも、場所と言語です。

ステップ5：結果表示、検索結果ページを組み立てる

最後のステップで検索結果ページが組み立てられます。かつての10本の青いリンクは、広告、ローカル検索結果、画像、動画、「他の人はこちらも質問」ボックス、強調スニペット、そして多くの情報系の検索語では AI Overview が混在するページに変わりました。表示されるタイトルと説明文は、title タグ、メタディスクリプション、ページの内容から生成され、構造化データによってリッチリザルトの対象になることもあります。どの形式も、目に留まるための追加のチャンスです。

Bing は Google とどう違うのか？

Bing もクロール、インデックス登録、ランキングという同じモデルに従っていますが、実務上いくつか違いがあります。最大の違いは IndexNow です。これは、URL が追加、更新、削除されたときに、次のクロールを待たずにすぐ検索エンジンへ通知できるプロトコルです。IndexNow.org によると、このプロトコルは Microsoft Bing、Naver、Seznam.cz、Yandex、Yep が対応しており、Google は採用していません。また、Bing の検索結果は Microsoft Copilot にも使われています。Bing のシェアは多くの国で小さいものの、Bing Webmaster Tools の設定は数分で済み、2つ目のトラフィックとデータの入手先になります。

ChatGPT や AI Overviews などの AI アシスタントはどうやってコンテンツを見つけるのか？

AI の回答は検索エンジンを置き換えるのではなく、その上に成り立っています。多くは検索拡張生成（RAG）を使っています。システムが1回または複数回の検索を行い、ウェブのインデックスから最も関連性の高い文章を取り出し、言語モデルがその一部を出典として引用しながら回答を書きます。

• Google の AI Overviews と AI モードは Google 自身のインデックスを使います。Google のAI 機能とウェブサイトに関するページによると、ページはインデックスに登録され、スニペット付きで表示できる状態であればよく、特別なマークアップや AI 専用のテキストファイルは不要です。これらの機能は「query fan-out」を使い、サブトピックごとに関連する検索を複数行って、根拠となるページを集めます。
• ChatGPT search は OpenAI のクローラー OAI-SearchBot でページを取得します。OpenAI のクローラーに関するドキュメントによると、OAI-SearchBot をブロックしたサイトは ChatGPT search の回答から除外されます。一方、GPTBot はモデルの学習に使われる別のクローラーです。
• Gemini、Perplexity、Claude も、ウェブ検索と文章生成を組み合わせています。Gemini は Google 検索を、Perplexity と Claude は独自のクローラー（PerplexityBot、Claude-SearchBot）で引用候補のページをインデックスしています。

つまり、AI での露出も従来の段階で決まるということです。クロールがブロックされたページ、インデックスにないページ、順位が大きく下にあるページは、取得される可能性が低く、したがって引用される可能性も低くなります。変わるのは最後の選択です。AI はページ全体ではなく文章の一部を選び、明確な定義、出典のある数字、直接的な答えを好みます。ChatGPT が引用する情報源の調査では、どのような種類のページが引用を勝ち取っているかを紹介しています。

各段階で何を管理できるのか？

段階を順に並べると、Google、Bing、AI アシスタントのすべてに有効なチェックリストになります。

1. 適切なボットを受け入れる。robots.txt に誤った disallow ルールがないか確認し、どの AI クローラーを許可するかを意図的に決めます。
2. 重要なページすべてに到達できるようにする。内部リンクで3クリック以内にたどり着けるようにし、サイトマップに記載します。
3. コンテンツを HTML で提供する。JavaScript だけに頼らず、高速で安定したサーバー応答を確保します。
4. 1つのテーマに1つの正規 URL を割り当てる。シグナルを分散させるほぼ同一のページは避けます。
5. 検索意図に合わせる。人々が実際に入力する質問、つまりキーワード調査で見えてくる質問から出発し、ページの冒頭で答えます。
6. 権威性を高める。関連性の高いサイトからのリンクや言及を獲得します。
7. 引用しやすい文章を書く。定義、出典つきの数字、短い手順リストなどです。
8. 両方のチャネルを測定する。Google には Search Console を使い、AI での言及トラッキングで ChatGPT、Gemini、Perplexity があなたのブランドを引用しているかを確認します。

検索エンジンはどのように進化してきたのか？

1990年代の初期の検索エンジンは、主にキーワードの一致でページを並べており、簡単に操作できました。リンクを投票とみなす Google の PageRank によって操作は格段に難しくなり、その後の数十年で、BERT などの機械学習モデルによる言語理解、モバイルファーストインデックス、スパム対策、品質評価の仕組みが加わりました。Google の歴史には一貫したパターンがあります。大きな変化のたびに、人のために書かれたページが評価され、近道が罰せられてきました。生成 AI による回答は最新の段階であり、評価されるものは同じです。明確で信頼でき、よく構成されたコンテンツです。

クロールからトラフィックへ：どこから始めるか

検索エンジンはクロールでき、理解でき、信頼できるページを評価し、AI アシスタントは検索エンジンがすでに上位に表示しているページを引用します。まずアクセス、次にインデックス登録、そして関連性と権威性の順に取り組みましょう。この作業を毎週続けるなら、Sorank が autopilotで、キーワードを見つけ、出典と内部リンクを備えた最適化記事を公開し、ChatGPT、Gemini、Perplexity があなたのブランドを引用しているかを追跡します。