設定

当社はプライバシーを重視しており、ウェブサイトの基本機能に必要のない特定のストレージを無効にするオプションを提供しています。カテゴリーをブロックすると、ウェブサイトでの体験に影響が出る可能性があります。詳細はこちら (クッキーポリシー)

クロールエラー:すべての種類の見つけ方、優先順位のつけ方、直し方

クロールエラーを見つけて直す方法:DNS、サーバー、robots.txt、404、ソフト 404、リダイレクトエラー。Googlebot の反応と、順番に直す 6 ステップの手順を解説します。

公開日
18/11/2026
更新日
18/11/2026
読了時間
35 分
クロールエラー:すべての種類の見つけ方、優先順位のつけ方、直し方

ツール

このページの内容

要点

クロールエラーとは、検索エンジンや AI クローラーがあなたのサイトに送ったリクエストが失敗することです。サーバーがタイムアウトする、DNS が応答しない、robots.txt を取得できない、リダイレクトがループする、ページが 4xx や 5xx を返す、といったケースです。サイトレベルのエラー(DNS、サーバー、robots.txt)は Google によるサイト全体のクロールを止めてしまう可能性があるため、最初に修正します。URL レベルのエラー(404、ソフト 404、リダイレクトエラー)は、インデックスさせたいページで起きている場合にだけ重要です。Search Console の Crawl Stats と Page indexing レポートで見つけ、クローラーツールとサーバーログで確認し、原因を修正して検証します。

さらに詳しく知るには、こちらに質問

クイック診断

サイトの技術面は誰が直すべき?

質問 1 / 425%
今、何が起きていますか?

クロールエラーとは何か、何ではないか

クローラーはとても辛抱強い訪問者のように動きます。サーバーに URL をリクエストし、応答を待ち、ステータスコードとコンテンツを読み、見つけたリンクへ移ります。クロールエラーとは、この流れのどこかが失敗することです。訪問者は使えるページを一度も受け取れません。

この定義が大切なのは、多くのレポートがクロールエラーとインデックス判断を混同しているからです。"Crawled, currently not indexed" はクロールエラーではありません。Google はページを問題なく取得したうえで、登録しないことを選んだのです。"Excluded by noindex" もクロールエラーではありません。ページを外すよう Google に指示したのはあなたです。クロールエラーとは、取得そのものが失敗したことを意味します。

2 つの系統:サイトエラーと URL エラー

Google は問題を 2 つのレベルに分けています。あなたも同じように分けるべきです。

  • サイトエラー(Google はホストステータスの問題と呼びます):DNS の名前解決の失敗、サーバー接続の失敗、robots.txt の取得失敗。ホスト上のすべての URL に影響します。ここで 1 日でも問題が起きると、サイト全体のクロールが止まることがあります。
  • URL エラー:1 つのページが 404、410、401、403、5xx、ソフト 404、壊れたリダイレクトを返すもの。影響はその URL だけで、多くは無害です。

サイトエラーと URL エラーの比較

サイトエラー(今日直す)
  • DNS が名前解決できない
  • サーバーがタイムアウトする、または接続を切る
  • robots.txt が 5xx または 429 を返す
  • Crawl Stats の Host status に表示される
  • 全ページのクロールが止まることがある
URL エラー(仕分けする)
  • 404、410、ソフト 404
  • 401、403、その他の 4xx
  • リダイレクトループや長すぎるチェーン
  • Page indexing レポートに表示される
  • インデックスさせたいページでのみ重要

この区別で優先順位が変わる理由

古い商品 URL が 4000 件 404 を返している EC サイトでも、その商品が完全に終売なら、まったく健全な場合があります。一方、同じサイトで robots.txt が 6 時間 503 を返していたら、すべての商品ページが正常でも本当の緊急事態です。まずホスト、次に売上を生む URL、最後に残りを見ます。

失敗ごとに Googlebot はどう反応するか

クロールエラーをきちんと直すには、Google が実際にどう振る舞うかを知る必要があります。Google のドキュメント「HTTP ステータスコード、ネットワークエラーが Google 検索に与える影響」(Google Search Central)がルールを示しています。実務での意味は次のとおりです。

ステータスコードを系統ごとに

応答Google の動作問題か?
2xxコンテンツをインデックス処理に渡す。インデックス登録は保証されない。いいえ。ただしページが空なら別(ソフト 404)。
301、308転送先が新しい URL であるという強いシグナル。いいえ。200 まで 1 回で届くなら。
302、303、307弱いシグナル。元の URL が正規 URL のまま残りやすい。はい。移転が恒久的な場合。
3xx のチェーン既定で最大 10 回までたどり、その後あきらめる。はい。1 回ごとにリクエストが無駄になり、ループは終わらない。
404、410、その他の 4xx(429 を除く)コンテンツが存在しないと判断し、登録済み URL を徐々に削除し、クロール頻度を下げる。そのページが存在すべき場合のみ。
401、403他の 4xx と同じ。クロール速度は下がらない。はい。公開ページで Googlebot をブロックしているなら。
4295xx と同じくサーバー過負荷のシグナルとして扱う。はい。クロールが遅くなる。
5xxエラーの量に応じてクロールを減らす。失敗し続ける URL はインデックスから削除される。はい、常に。

多くのチームがつまずく点が 2 つあります。1 つ目に、401 と 403 はクロール頻度を下げません。サーバーが苦しいときに Googlebot へ 403 を返しても効果はなく、Google は一時的に 503 か 429 を返すよう求めています。2 つ目に、404 はペナルティではありません。存在しなくなったページに対する正しい答えです。

robots.txt の失敗が最も危険

Google のCrawl Stats レポートのドキュメント(Search Console Help)がルールを説明しています。robots.txt が 200(空でも可)や 403、404、410(ファイルなし)を返すなら問題ありません。429 や 5xx を返すと失敗とみなされ、Google は慎重に振る舞います。

robots.txt の失敗が続いたときの Google の動作

最初の 12 時間Google はサイトのクロールを完全に停止する。
30 日までGoogle は最後に正常に取得できた robots.txt を使う。
30 日以降動作はトップページにアクセスできるかどうかで変わる。

出典:Google Search Console Help、Crawl Stats レポート

つまり、/robots.txt に 503 を返す CDN ルールやファイアウォールがあるだけで、他の URL がすべて正常でもサイト全体が半日止まることがあります。クロールエラーの調査では、まずこのファイルを確認してください。"Blocked by robots.txt" ステータスのガイドでは、ファイルは動いているのにブロックしすぎるという逆の問題を扱っています。

覚えておきたい Google のクロール上限

10Google のクローラーがたどるリダイレクトの最大回数
12 時間robots.txt が 5xx か 429 を返したときのクロール停止時間
30 日Google が最後の正常な robots.txt を使い続ける期間
5%ホストの問題の例として挙げられている 1 日の DNS 失敗率

出典:Google Search Central、HTTP ステータスコードとネットワークエラー;Search Console Help、Crawl Stats レポート

クローラーがウェブサイトのリンクをたどり、いくつかの壊れたページが修復されているイラスト
クロールエラーとは、サイト内を進むクローラーの道筋が途切れる場所です。

すべてのクロールエラーの種類と修正方法

Search Console やクローラーツールで目にする全リストを、原因と修正方法とあわせて紹介します。名称は Google のPage indexing レポートのドキュメント(Search Console Help)に合わせています。

DNS エラー

Google がドメイン名を IP アドレスに変換できなかった、または DNS サーバーが応答しなかった状態です。よくある原因:ドメインの期限切れ、DNS プロバイダーの障害、移転後の誤ったレコード、DNSSEC の設定ミス。自分のネットワークの外から問い合わせて確認します:

dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec

修正:レコードを直し、移転前には TTL を下げ、冗長構成のある DNS プロバイダーを使います。example.com と www.example.com の両方があるなら、片方がリダイレクトするだけでも、両方とも名前解決できなければなりません。

サーバー接続エラーと 5xx

サーバーが時間内に応答しない、接続を閉じる、または 500、502、503、504 を返す状態です。典型的な原因:データベースの過負荷、負荷で落ちる PHP や Node のプロセス、リバースプロキシのタイムアウト、プラグインの更新、ボットを速度制限するファイアウォール。時間のパターンを見てください。毎晩同じ時刻のエラーは、たいていバックアップか cron ジョブが原因です。

修正:Google が報告した時刻のサーバーエラーログを読み、タイムアウトやワーカー数を増やし、重いページをキャッシュし、ボット対策が認証済みの Googlebot を通すようにします。計画メンテナンスでは、「まもなく再開します」と書いた 200 のページではなく、Retry-After ヘッダー付きの 503 を返します:

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

404 と 410(見つかりません)

ページが存在しない状態です。意図的に削除し、どこからもリンクされていないなら問題ありません。その URL にまだ被リンク、流入、内部リンクがある場合や、本来あるべきページがデプロイで壊れた場合は問題です。

修正:コンテンツが移動したなら、最も近いページへ 301 を 1 回だけ設定します。完全に消えたなら 404 のままにするか 410 を使い、そのページを指す内部リンクとサイトマップの項目を削除します。すべての 404 をトップページへリダイレクトするのは絶対にやめてください。Google はそれをソフト 404 とみなしがちです。

ソフト 404

サーバーは 200 を返しているのに、ページが空に見える、または「見つかりません」と表示している状態です。空のカテゴリ、結果ゼロの検索ページ、内容のない在庫切れ商品などです。Google はリクエストを使って何も得られません。詳しくはソフト 404 エラーのガイドで解説しています。

401、403、その他の 4xx

Googlebot は認証情報を送らないため、公開ページの 401 や 403 は、サーバーかセキュリティ層がブロックしていることを意味します。よくある原因:本番環境に残ったステージング用パスワード、WAF のルール、国別ブロック、HTML に適用された直リンク防止ルール。症状ではなくルールを直し、Search Console の URL Inspection ツールでテストします。

リダイレクトエラー

ループ、長すぎるチェーン、最大長を超える URL、チェーン内の不正または空の URL に遭遇すると、Google はリダイレクトエラーを報告します。移転後の典型例:http から https、次に www、次に末尾スラッシュ、さらに新しいパスへ。1 回で済むところを 4 回飛んでいます。SEO のリダイレクトの完全ガイドで、まとめ方を説明しています。

ヒント

怪しい URL は無料の Sorank リダイレクトチェッカーに貼り付けてください。チェーン全体をたどり、各ステップとそのステータスコードを表示し、ループや余分なステップの場所を教えてくれます。

タイムアウト、途中で切れる応答、大きすぎるページ

ステータスコードがまったく出ないエラーもあります。ページの読み込みが始まって止まる、または重すぎてクローラーが一部しか読まない、といったケースです。Google のクローラーは 1 ファイルあたり読み込むバイト数に上限があるため、インラインスクリプトや base64 画像で膨れたページは下部のコンテンツを失うことがあります。重いテンプレートはページサイズチェッカーで確認してください。

クロールエラーを見つけるすべての方法の比較

すべてのクロールエラーを表示できるツールは 1 つもありません。方法ごとに見える角度が違うため、本格的な監査では少なくとも 2 つを組み合わせます。

方法 1:Search Console の Crawl Stats レポート

仕組み:Google 自身の過去 90 日間のクロールリクエストを、応答、ファイル形式、目的、Googlebot の種類ごとにまとめ、DNS、サーバー、robots.txt のホストステータスも表示します。使う場面:常に、そしてサイトエラーについては最初に。利点:Google 自身による正確なデータです。限界:ルートレベルのプロパティのみで、例はサンプルで、Google は 1000 ページ未満のサイトではほとんど必要ないとしています。例:毎週日曜の午前 3 時に "page timeout" の応答が急増し、データベースのバックアップと一致している。

Crawl Stats レポートについての Google Search Console ヘルプページ
Crawl Stats レポートについての Google のドキュメント。DNS、サーバー、robots.txt のホストステータスが説明されています。

方法 2:Search Console の Page indexing レポートと URL Inspection

仕組み:Google が把握している URL と、それがインデックスされない理由を一覧にします。理由には Server error (5xx)、Redirect error、Not found (404)、Soft 404 などがあります。使う場面:URL エラーの仕分けと修正の検証。利点:Google が実際に試したページに結びついています。限界:数日の遅れがあり、例の一覧には上限があり、クロールエラーとインデックスの判断が混在しています。例:"Redirect error" の 300 件の URL が、すべて同じ古いプレフィックス /blog/ を持っている。

方法 3:デスクトップ型またはクラウド型のクローラー

仕組み:Screaming Frog のようなツールが、ボットと同じようにトップページからリンクをたどってサイトをクロールし、すべてのステータスコード、リダイレクトチェーン、リンク切れを記録します。使う場面:移転、リニューアル、大きなデプロイの前後、そして大規模サイトでは毎月。利点:即時で、リンクされたページは網羅でき、各リンク切れの場所がわかります。限界:Google が実際に何をリクエストしたかはわからず、孤立ページを見落とし、サーバーが Googlebot とは違う扱いをすることがあります。Screaming Frog 設定ガイドで、完全な監査の手順を紹介しています。

Screaming Frog SEO Spider の製品ページ
Screaming Frog SEO Spider はボットのようにサイトをクロールし、すべてのステータスコード、リダイレクトチェーン、リンク切れを一覧にします。

方法 4:サーバーログ分析

仕組み:アクセスログには、Googlebot、Bingbot、GPTBot、ClaudeBot、PerplexityBot を含むすべてのリクエストが、正確なステータスコードと応答時間とともに記録されます。使う場面:大規模サイト、説明のつかない流入減少の後、AI クローラーが何にアクセスしているかを知りたいとき。利点:実際のリクエスト、実際のコード、サンプリングなし、すべてのボット。限界:ログへのアクセスと多少のスクリプトが必要で、「Googlebot」が本当に Google か確認しなければなりません。SEO のためのログファイル分析のガイドで順を追って説明しています。まずはざっと確認:

# Googlebot requests that did not return 200, 301 or 304, most frequent first
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50

方法 5:個別 URL のスポットチェック

仕組み:curl や無料のオンラインチェッカーで 1 つずつ URL をテストします。使う場面:修正の確認や、デプロイ後の重要ページのチェック。利点:即時で正確。限界:大量には向きません。ボットを別扱いするルールを見つけるため、Googlebot のユーザーエージェントを使います:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
方法サイトエラーが見えるURL エラーが見える実際の Googlebot データAI クローラーが見える最適な用途
Crawl Stats レポートはいサンプルはいいいえホストの健全性
Page indexing レポート一部はいはいいいえ仕分けと検証
クローラー(Screaming Frog など)いいえはい、リンクされたページいいえいいえリンク切れを発生源で見つける
サーバーログ一部はいはいはい大規模サイト、根本原因
個別 URL チェックいいえ1 件ずついいえいいえ修正の確認

5xx エラー: ステータスコードを読んで壊れた層を特定する

5xx ステータスは、サーバーが正当に見えるリクエストを処理できなかったことを示します。Google はこれに応じてクロールを遅くし、5xx を返す URL が増えるほどさらに遅くします。Google は既にインデックスされた URL をしばらく保持しますが、継続的にサーバーエラーを返す URL は削除します。短時間の障害は回復できます。サーバーが 2xx を返すようになると、Google はクロール頻度を徐々に戻すからです。長く続くエラーこそがインデックスを傷つけます。

コードから壊れた層がわかる

5xx の各コードは、スタックの異なる部分を指しています。下の表は、それぞれのコードについて最初に確認する場所を示しています。

コード通常の意味最初に確認すること
500アプリケーションがリクエストの処理中に失敗したリクエストの発生時刻のアプリケーションエラーログ
502プロキシまたは CDN がアプリケーションから不正な応答を受け取った。多くはアプリがクラッシュまたは再起動したためアプリケーションプロセスの再起動履歴と稼働時間
503サービスが過負荷、レート制限中、またはメンテナンス中負荷グラフ、デプロイ履歴、メンテナンス時間帯
504プロキシがアプリケーションの応答を待ちきれなかった遅いデータベースクエリとプロキシのタイムアウト設定
429レートリミッターがリクエストの多さを通知しているレート制限のルールと、それが認証済みの Googlebot に適用されるか

Google のタイムスタンプをログと照合する

Crawl Stats には、Google がエラーに遭遇した日と時間帯が表示されます(各グラフの説明はCrawl Stats ガイドをご覧ください)。サーバーログには、その正確な瞬間に何が起きたかが記録されています。Googlebot のリクエストを絞り込み、時間ごとの 5xx 応答を数えてください。

grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c

出力の各行は、時間、ステータスコード、件数を表します。毎晩同じ時間に集中している場合は、バックアップ、cron ジョブ、または定期インポートが原因であることが多いです。一日を通して散らばっている場合は、負荷が原因であることが多く、その場合の対策は単一のバグ修正ではなく、キャパシティやキャッシュの強化です。より詳しい方法はログファイル分析ガイドをご覧ください。

慌てる前に 5xx の影響を測る

Google は、エラーを返す URL の数に応じてクロールを減らします。数ページに影響する壊れたテンプレートは、クロール時間の損失がわずかです。すべてのページを壊すデータベース障害は大きな損失になるため、最優先で直してください。

429 は、Google がサーバーの過負荷として読み取るため、5xx と同じ影響があります。レートリミッターやボット対策が Googlebot に 429 を返している場合、そのコストはクロール時間として支払うことになります。Google のドキュメントには Retry-After ヘッダーの記載がありません。人間の訪問者や API クライアントには引き続き送ってください。ただし、設定した時間だけ Googlebot が待つことを前提にしないでください。

4xx エラー: 修正する前に発生源を特定する

4xx ステータスは、クライアント側の理由(URL が存在しない、アクセスが禁止されている、アドレスの形式が不正など)でサーバーがリクエストを拒否したことを示します。Google は 429 を除くすべての 4xx を同じように扱います。その URL の内容の利用をやめ、インデックスされていた場合は除外します。4xx に手をつける前に、リクエストがどこから来ているかを確認してください。修正箇所は多くの場合ひとつだけです。リンク、テンプレート、またはリダイレクトのルールがそれにあたります。

ログで各 4xx の発生源を見つける

アクセスログには各リクエストのリファラーが記録されており、どのページが訪問者やボットをその URL に送ったかがわかります。4xx のレスポンスをパスとリファラーごとに数えてください。

awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20

リファラー列は次のように読みます。

  • 自サイトのドメインがリファラーなら、自分のページが無効な URL にリンクしています。リンク、またはそれを出力しているテンプレートを修正してください。自分で管理できるため、最も価値の高い修正です。壊れたリンクの修正ガイドで手順をすべて紹介しています。
  • 他サイトがリファラーなら、有効でなくなった URL を指すバックリンクがあるということです。そのリンクを残す価値があるなら、最も近い有効なページへ 301 を 1 つ設定します。価値がなければ 404 のままにします。
  • リファラーが空の場合や、公開したことのないパス(静的サイトのログインページなど)の場合は、ボットやスキャナーがアドレスを試したものです。404 を返したままにして、時間をかけないでください。

公開のたびに 4xx の急増を確認する

パスの名前変更、スラッグの変更、テンプレートの再構築を含むリリースは、同じ日に 404 が大量に発生することがよくあります。デプロイの前週と後週について、1 日ごとの 4xx 件数を書き出してください。特定のフォルダに集中した増加は、変更箇所を直接示します。旧 URL から新 URL へのリダイレクトは、後日のチケットではなく同じリリースに含めてください。サイト移行全体については、SEO 移行チェックリストをご覧ください。

ヒント

存在しないページを、短いメッセージや空の一覧を表示する 200 レスポンスで置き換えないでください。Google はソフト 404とみなすことがあり、クロールのコストだけがかかって何も得られなくなります。

手順:正しい順番でクロールエラーを直す

私たちが使っている方法です。サイト全体を止めかねないエラーから始め、クロールを少し無駄にするだけのエラーへと進みます。

クロールエラー対応の 6 ステップ

  1. ホストステータスを確認するCrawl Stats を開き、過去 90 日間の DNS、サーバー接続、robots.txt を見る。
  2. URL エラーを書き出してまとめるPage indexing の理由ごとに書き出し、URL をフォルダやテンプレート単位でまとめる。
  3. 価値で並べる流入、被リンク、内部リンク、サイトマップ掲載がある URL を残す。
  4. テンプレート単位で原因を直す1 つのルール、1 つのリダイレクト表、1 つのサーバー設定で数百の URL が直る。
  5. シグナルを整える内部リンクとサイトマップを、最終的に 200 を返す URL に向ける。
  6. 検証して監視するValidate fix をクリックし、毎週 Crawl Stats とログを確認する。

ステップ 1:まずホストを確認する

Search Console で Settings、Crawl stats、Host status の順に開きます。緑なら 90 日間に大きな問題はありません。"Recent issue" は直近 1 週間に大きな問題があったという意味なので、他のことはすべて後回しにします。各カテゴリをクリックして日ごとの失敗率を見て、悪い日をホスティング、CDN、デプロイの履歴と照らし合わせます。

ステップ 2:書き出してパターンでまとめる

Indexing、Pages の順に開き、エラーの理由ごとに書き出します。URL を 1 件ずつ直してはいけません。スプレッドシートに入れて、最初のフォルダを抜き出します:

=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")

この列でピボットテーブルを作ると、たいていエラーの大半が 2〜3 個のテンプレートから来ていることがわかります。廃止したブログカテゴリ、絞り込みパラメータ、古い商品フィードなどです。

ステップ 3:ビジネス上の価値で並べる

パターンごとに 4 つの質問をします。自然検索のクリックはあるか。被リンクはあるか。内部リンクされているか。サイトマップに入っているか。4 つとも当てはまらない 404 はずっと放置してかまいません。被リンクのある 404 には今日 301 が必要です。無料のリンク切れチェッカーで、自サイトのどのページがまだ死んだ URL にリンクしているかがわかります。

ステップ 4:根本原因を直す

URL ではなくルールを直します。プラグインで手作業で追加した 400 件のリダイレクトより、サーバー設定の 1 つのリダイレクト表のほうが優れています。たとえば nginx なら:

map $request_uri $new_uri {
    /old-blog/seo-tips/    /blog-geo-seo/seo-best-practices/;
    /old-blog/sitemaps/    /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
    if ($new_uri) { return 301 $new_uri; }
}

5xx なら、処理能力かバグを直します。401 と 403 なら、セキュリティルールを直します。ソフト 404 なら、実際のコンテンツを加えるか、本物の 404 を返します。

ステップ 5:内部リンクとサイトマップを整える

すべての内部リンクは、200 を返す URL を直接指すべきです。サイトマップの各項目は、正規で、インデックス可能で、200 を返す URL であるべきです。リダイレクトや 404 だらけのサイトマップは、Google にそのサイトマップを信用しないよう教えてしまいます。サイトマップの作り方のガイドで、何を載せるべきかを説明しています。

ステップ 6:検証して監視する

Page indexing レポートで修正した理由を開き、Validate fix をクリックします。Google はまずサンプルを確認し、その後に残りを確認します。通常は 2 週間ほどかかり、1 件でも失敗が残っていると止まります。実行中にもう一度クリックしないでください。その後、毎週の習慣を作ります。ホストは Crawl Stats、急増はログ、デプロイのたびにクロール。

修正前と修正後のリダイレクトチェーン

修正前
  • http://site.com/page
  • 301 で https://site.com/page へ
  • 301 で https://www.site.com/page へ
  • 301 で https://www.site.com/page/ へ
  • 内部リンクはまだ最初の URL を指している
修正後
  • 1 回の 301 で https://www.site.com/page/ へ直接
  • 内部リンクを最終 URL に更新
  • サイトマップには最終 URL だけを掲載
  • リクエストは 4 回ではなく 1 回

よくある間違いと、その見つけ方・直し方

間違い 1:すべての 404 をトップページへリダイレクトする

内容:存在しない URL をすべて / へ送るプラグインやルール。見つけ方:"Soft 404" や "Page with redirect" に、トップページに着地する URL が大量にある。クローラーで同じ転送先の 301 が数百件見つかる。直し方:近い内容のページにだけリダイレクトし、残りは 404 か 410 を返すようにします。

間違い 2:セキュリティツールで Googlebot をブロックする

内容:WAF、ボット管理ツール、レート制限が Google に 403、429、チャレンジページを返す。見つけ方:ブラウザではページが正常に表示されるのに、Crawl Stats に 403 や 429 が出る。ログに IP ごとのブロックが記録されている。直し方:ユーザーエージェントの文字列を信用するのではなく、逆引き DNS や Google が公開している IP 範囲を使って、認証済みの Googlebot を許可します。

間違い 3:壊れやすい robots.txt

内容:アプリが生成する robots.txt で、アプリが落ちるたびに失敗する。あるいは 5xx をキャッシュする CDN ルール経由で配信されている。見つけ方:Host status の robots.txt 取得カテゴリが緑ではない。直し方:アプリの外で静的ファイルとして配信し、robots.txt チェッカーでテストします。

間違い 4:200 を返すメンテナンスページ

内容:すべての URL で「まもなく再開します」ページをステータス 200 で返す。見つけ方:メンテナンス後にソフト 404 や重複タイトルが一気に増える。直し方:メンテナンス中は Retry-After 付きの 503 を返し、期間は短くします。

間違い 5:Google を遅くするために 403 を使う

内容:サーバーが過負荷のときに Googlebot へ 403 を返す。見つけ方:403 の急増が負荷の急増と一致している。直し方:Google は、429 以外の 4xx はクロール頻度に影響しないとしています。短期間だけ 503 か 429 を返し、処理能力を改善します。

間違い 6:エラーを 1 件ずつ直す

内容:Search Console の一覧を 1 件ずつクリックして各 URL を編集する。見つけ方:同じ理由が毎月戻ってくる。直し方:パターンでまとめ、テンプレートやルールを直し、検証は 1 回で済ませます。

間違い 7:無害な 404 に慌てる

内容:スパム URL や、ずっと前に削除されリンクもないページの 404 に何日も費やす。見つけ方:その URL にクリックも被リンクも内部リンクもない。直し方:放置します。Google は、削除したページの 404 は必ずしも問題ではないとしています。

注意

クロールエラーを「隠す」ために robots.txt で URL をブロックしてはいけません。Google は 404 やリダイレクトを確認できなくなり、URL がインデックスに残ることがあり、伝えたかったシグナルも失われます。

クロールエラーとクロールバジェット

数百ページのサイトなら Google にはすべてを見る時間があり、クロールエラーが重要なのは主に壊れたページについてです。大規模サイト(絞り込みのある EC、マーケットプレイス、ニュース)では、失敗したリクエストや無駄なリクエストのひとつひとつが本当のページから時間を奪います。これがクロールバジェットの考え方です。

エラーがクロール能力を食いつぶす仕組み

5xx と 429 は Google にホスト全体でクロールを遅くさせるため、いくつかの壊れたテンプレートが新商品ページのクロールを遅らせることがあります。リダイレクトチェーンは 1 回ごとに 1 リクエストかかります。ソフト 404 は完全な取得 1 回分のコストがかかるのに、何も返しません。この 3 つを直せば、同じバジェットでより多くの有用なページをカバーできます。

"Discovered, not indexed" との関係

Google が URL を見つけてもクロールを後回しにする場合、原因はたいてい Google が不安定と見なしているサーバーです。"Discovered, currently not indexed" の件数が増え、同時に Crawl Stats でサーバーエラーが出ているなら、まずサーバーを直します。2 つのレポートは同じことを語っています。

AI クローラーのクロールエラー

重要な訪問者はもう Googlebot だけではありません。GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot は、モデルの学習やリアルタイムの回答のためにページを取得します。同じサーバーにアクセスし、同じエラーに悩まされますが、違いが 1 つあります。彼らには Search Console がありません。

AI ボットで何が変わるか

多くの AI クローラーは JavaScript を実行しないため、ブラウザ上でだけコンテンツを組み立てるページは空に見えることがあります。これは Google のレポートには決して出てこない一種のソフト 404 です。多くはボット対策サービスで標準設定のままブロックされ、たいてい 403 になります。さらに、ユーザーが質問した瞬間にオンデマンドで取得するため、そのときタイムアウトすると回答には別のサイトが引用されます。JavaScript SEO のガイドでは、検索クローラーと AI クローラーの両方に向けたレンダリングを扱っています。

監視の方法

信頼できる情報源はサーバーログだけです。ユーザーエージェントで絞り込み、ステータスコードを確認します:

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

AI ボットに意図しない 403 が返っていたら、ルールを直します。そのうえで、実際に引用されているかを確認します。Sorank の AI 言及トラッキングは、ChatGPT、Gemini、Claude、Perplexity があなたのブランドに言及する頻度を追跡するので、クロールの修正で何かが変わったかがわかります。

クロール健全性チェックリスト

移転、リニューアル、大きなデプロイのたびに、そして大規模サイトでは毎月、このリストを確認してください。

クロール健全性チェックリスト

  • DNS、サーバー接続、robots.txt のホストステータスが緑
  • robots.txt が静的ファイルとして配信され 200 を返す
  • Crawl Stats やログに 5xx や 429 の急増がない
  • 認証済みの Googlebot と必要な AI ボットがファイアウォールでブロックされていない
  • すべてのリダイレクトが 1 回で、301 か 308 で 200 のページへ向かう
  • 内部リンクが最終的に 200 を返す URL を指している
  • サイトマップには正規で、インデックス可能で、200 を返す URL だけを掲載
  • 被リンクや流入のある 404 は近い内容のページへリダイレクト済み
  • 空のページは修正済み、または本物の 404 を返す
  • メンテナンス中は Retry-After 付きの 503 を返す
  • 修正した理由ごとに Validate fix を開始済み

今日やること

Crawl Stats を開き、ホストステータスの 3 行を確認します。次に、最も価値のある 5 ページに無料のインデックス可否チェッカーをかけます。どちらも問題なければ、Page indexing のエラーを書き出してフォルダ別にまとめます。これで、怖いレポートではなく、短く優先順位のついた修正リストが手に入ります。

クロールがきれいになったら、次の壁はコンテンツそのものです。Sorank のコンテンツ最適化は、既存ページを autopilot で書き直して更新するので、Google がたどり着けるようになったページを、インデックスされ引用される価値のあるものにできます。Google がクロールしたのに登録しなかったページについては、"Crawled, currently not indexed" のガイドをお読みください。

よくある質問

SEO におけるクロールエラーとは何ですか?

クロールエラーとは、検索エンジンや AI クローラーのリクエストが失敗することです。DNS が名前解決できない、サーバーがタイムアウトするか 5xx を返す、robots.txt を取得できない、リダイレクトがループする、ページが 4xx を返す、といったケースです。サイトレベルのエラーはサイト全体のクロールを止めることがあり、URL エラーは該当ページにだけ影響します。

404 エラーは SEO に悪影響ですか?

それ自体は問題ではありません。Google は、代わりのないまま削除したページの 404 は必ずしも問題ではないとしています。その URL にまだ被リンク、流入、内部リンクがある場合は問題になり、近い内容のページへの 301 を 1 回設定するのが正しい対応です。

クロールエラーの修正を Google が認識するまでどれくらいかかりますか?

Search Console の Page indexing レポートで Validate fix をクリックすると、検証には通常 2 週間ほどかかります。Google はまず URL のサンプルを確認し、その後に残りを確認します。該当する URL が 1 件でも失敗し続けていると検証は止まります。

30日分のコンテンツプランを無料で入手

競合、あなたのサイト、AIでの可視性を分析し、あなた専用のコンテンツプランを無料で作成します。

Sorankの無料SEOツール

無料ツールをすべて見る

30日分のコンテンツプランを無料で入手

競合、あなたのサイト、AIでの可視性を分析し、あなた専用のコンテンツプランを無料で作成します。

Sorankユーザーの写真Sorankユーザーの写真Sorankユーザーの写真Celio FabianoSorankユーザーの写真顧客Xavier Breullのプロフィール写真
Google
星星星星星
5/5
+5,000
ユーザー

野心的な創業者たちからの声

8 か月で訪問数 0 回から 5000 回

Thibault BMsorank.comGoogleソフトウェア

4か月でクリック数0から1104へ

Dominiqueflight-sensations-idf.comGoogleレジャーと航空

6か月でクリックが0から163に

Coworking Pariscoworking-paris.frGoogleOffice broker

5 か月で訪問者 0 人から 1 万人

Celio Fabianomonrobotlavevitre.frGoogleEC

7か月でクリックがx92倍に

Guide Zanzibarguidezanzibar.comGoogle旅行