robots.txt によりブロックされました：Search Console のステータスの意味と修正方法

robots.txt によりブロックされましたというステータスは、Google Search Console のページのインデックス登録レポートで、ページがインデックスに登録されない理由の一つとして表示されます。Google のページのインデックス登録レポートのドキュメントは、これを「サイトの robots.txt ファイルによってページがブロックされた」と一行で説明しています。その一行の裏には、正常なブロックと誤ったブロックというまったく異なる二つの状況があり、さらに紛らわしい関連ステータス「robots.txt によってブロックされましたが、インデックスに登録しました」も存在します。このガイドでは、両者の見分け方と、ほかを壊さずにそれぞれを修正する方法を説明します。ファイル自体になじみがない方は、まず robots.txt の定義からお読みください。

Search Console の「robots.txt によりブロックされました」とは？

robots.txt ファイルはホストのルート（example.jp/robots.txt）に置かれ、クローラにどのパスを取得してよいかを伝えます。Googlebot はリンクやサイトマップから URL を見つけると、まずこのファイルを確認します。自分のユーザーエージェント向けの Disallow ルールがパスに一致すれば、そのページは取得しません。その結果、Search Console はその URL を「robots.txt によりブロックされました」に分類します。

ここから二つのことが起こります。Google はページの内容、タイトル、内部リンク、meta タグを一切見られません。そしてページを読まないので、noindex タグも見えません。このステータスは未登録の理由として表示され、多くのサイトにとっては参考情報にすぎません。Google 自身も、robots.txt でブロックされた URL はおそらく意図的にブロックされていると述べています。

問題になるのは、Google に表示させたいページがリストに含まれているときです。商品ページ、記事、カテゴリ、移行後のサイト全体などです。この場合、ブロックはサイトが Google に表示されない直接の原因であり、もっとも早く直せる技術的な問題の一つです。

「robots.txt によりブロックされました」と「ブロックされましたが、インデックスに登録しました」の違い

後者は矛盾しているように見え、サイト運営者をもっとも不安にさせます。Google の robots.txt の概要がその理由を説明しています。robots.txt はページを Google から除外するための仕組みではありません。ほかのページが禁止された URL にリンクしていれば、Google はクロールせずに URL そのものをインデックスに登録できます。その場合、Google は本文を読んでいないため、検索結果には説明文のないアドレスだけが表示されます。

大切なのは、まず URL ごとにインデックスに登録するか、しないかを決めることです。robots.txt が答えるのは別の問い（クロールするか、しないか）であり、この二つを混同することがほとんどのミスの原因です。

ページが robots.txt でブロックされる原因

意図しないブロックの多くは、いくつかの原因に集約されます。次の順に確認してください。

• テスト環境のルールが本番に持ち込まれた。Disallow: / はテストサイトを守るためのものですが、公開時にそのまま反映されてサイト全体をブロックします。
• CMS の設定。WordPress には「検索エンジンがサイトをインデックスしないようにする」という設定があり、ほかのプラットフォームにも robots.txt を編集したりヘッダーを追加したりする同様のスイッチがあります。
• 想定より広いルール。Disallow: /p は /p/ だけでなく /products/ や /pricing/ もブロックします。robots.txt のルールはパスの先頭と照合されます。
• ワイルドカード。* は任意の文字列に、$ は URL の末尾に一致します。Disallow: /*? はパラメータ付きの URL をすべてブロックし、インデックスさせたいページ分割やフィルタのページまで含まれることがあります。
• リソースのブロック。/assets/ や /wp-includes/ をブロックすると、Google がページのレンダリングに必要とする CSS や JavaScript が見えなくなり、コンテンツの理解が損なわれます。
• サイト移行。パスが変わったのに古い robots.txt が残っている、あるいは新しいホスティングが独自のデフォルトファイルを返している。
• ホストの取り違え。サブドメインやプロトコルごとに別のファイルがあります。www.example.jp のルールは shop.example.jp には適用されません。

Google はもっとも具体的なルール（一致するパスがもっとも長いもの）に従い、Allow と Disallow の具体性が同じ場合は制限の緩いほうが優先されます。そのため、的を絞った Allow: /blog/ で、より広いブロックの下にあるフォルダを再び開放できます。

「robots.txt によりブロックされました」を修正する手順

1. 対象 URL をエクスポートする

Google Search Console で「インデックス作成」から「ページ」を開き、「robots.txt によりブロックされました」の行をクリックします。リストをエクスポートしてフォルダ別に並べ替えます。たいてい 1 分ほどでパターンが見えてきます。特定のディレクトリ、パラメータ、サブドメインなどです。

2. 意図的なブロックとミスを分ける

各パターンを「ブロックのまま」か「Google に載せるべき」に分類します。カート、決済手続き、会員アカウント、サイト内検索結果、管理画面は前者です。検索クエリに答えるページ、リンクを獲得しているページ、XML サイトマップに載っているページは後者です。サイトマップに載っているのにブロックされている URL は、解消すべき矛盾です。

3. 一致するルールを特定する

サンプルの URL を URL 検査ツールで調べると、クロールが許可されているかどうかが表示されます。続いて公開中のファイルを読むか、無料の robots.txt チェッカーに URL を貼り付けて、どの行がどのユーザーエージェントに対してブロックしているかを確認します。

4. ファイルを編集する

ルールを削除するか範囲を狭めるか、より具体的な Allow を追加します。変更は最小限にとどめ、解除したい URL とブロックを維持すべき URL の両方でテストしてください。ファイルが整理されていない場合は、robots.txt ジェネレーターできれいなファイルを作り直し、公開前に比較します。

5. Google に新しいファイルを読ませる

Google の robots.txt の仕様によると、Google は通常 robots.txt を最大 24 時間キャッシュします。早めたい場合は「設定」から Search Console の robots.txt レポート（ドメインレベルのプロパティで利用可能）を開き、ファイルの再クロールをリクエストします。そのうえで、ブロックを解除した重要な URL について URL 検査ツールからインデックス登録をリクエストします。

6. 検証して監視する

問題の詳細ページで「修正を検証」をクリックします。検証には数日から数週間かかることがあり、新しい URL は Google が再クロールするたびに確認されます。クロール後に Google がページを残すかどうかを判断する段階については、Google のインデックス登録に関するガイドで解説しています。

「robots.txt によってブロックされましたが、インデックスに登録しました」を修正する方法

対処法は、そのページをどうしたいかによって変わります。

1. Google に表示させたい場合。ブロックを解除します。Google がページをクロールして内容を読み、タイトルと説明文のある通常の検索結果を表示します。
2. Google に表示させたくない場合。こちらもまずブロックを解除し、head に <meta name="robots" content="noindex"> を追加するか、PDF などのファイルには HTTP ヘッダー X-Robots-Tag: noindex を返します。Google が再クロールしてページを削除した後であれば、クロール量が重要な場合に再びブロックしてもかまいませんが、ほとんどのサイトではその必要はありません。選択肢は noindex の定義で説明しています。
3. そもそも公開すべきでないページの場合。パスワードで保護するか削除（404 または 410）します。robots.txt も noindex もセキュリティ対策ではありません。

数千のフィルタ URL を持つファセットナビゲーションでは、クロールバジェットを節約するために robots.txt でのブロックが引き続き適切な手段になり得ます。カテゴリの正規版がクロール可能でインデックスされている限り、その一部の URL に「ブロックされましたが、インデックスに登録しました」の警告が出ても許容範囲です。

修正が反映されたか確認する方法

修正の成功は三つのシグナルで確認できます。公開 URL を URL 検査すると「クロールを許可：はい」と表示される。ページのインデックス登録レポートでブロック数がその後数週間で減る。そしてブロックを解除したページが検索パフォーマンスのレポートで表示回数を得始める。インデックス可能性チェッカーで手早く確認すれば、robots.txt のミスとよく一緒に起こるほかの障害、つまり消し忘れた noindex、誤った canonical、リダイレクトも見つけられます。

こうしたミスは再発するため、監視が大切です。テーマの更新、プラグイン、デプロイスクリプトが、誰にも気づかれないまま robots.txt を書き換えることがあります。クリック数と表示回数が急に落ちたページを追うことが、もっとも早い警報になります。

Sorank の GEO・SEO ダッシュボードは Search Console と連携し、上昇・下降しているページを一つの画面に表示します。そのため、デプロイで入り込んだブロックは、原因不明のゆるやかな減少ではなく、まとまって落ち込む URL 群として見えてきます。

robots.txt、AI クローラ、GEO

robots.txt には今、二つ目の読み手がいます。AI アシスタントのクローラです。OpenAI、Anthropic、Perplexity、Google はそれぞれ robots.txt を尊重するユーザーエージェント（GPTBot と OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended）を公開しています。そのいずれかに向けたルールや、包括的な User-agent: * のブロックによって、ChatGPT、Claude、Perplexity が回答を作るためにウェブを検索するとき、あなたのページを読めるかどうかが決まります。

考え方は Google の場合と同じで、ボットごとに望む扱いを決めます。学習用のクローラはブロックし、検索用のクローラは許可するのがよくある折衷案です。AI クローラ向け robots.txt のガイドでは、各ユーザーエージェントとそれぞれのルールを一覧にしています。用語集の AI クローラの項目では、どのボットが何をするかを説明しています。

こうした選択の効果を確かめるには、事業にとって重要なプロンプトを追跡します。Sorank の AI 言及トラッキングは、ChatGPT、Gemini、Claude があなたのサイトを引用しているか、代わりにどの競合を引用しているかを表示します。

覚えておきたいルール

robots.txt はクローラが何を読めるかを決め、noindex は検索結果に何を表示できるかを決めます。ブロックは検索価値のない領域に限り、インデックスさせたいページやインデックスから外したいページは決してブロックせず、移行やデプロイのたびにページのインデックス登録レポートを確認しましょう。「robots.txt によりブロックされました」の問題の多くは、原因のルールさえ見つかれば数分で解決します。Sorank の Search Console ダッシュボードなら、次の問題がトラフィックを損なう前に気づけます。