Excluded by 'noindex' tag：これは正常なのか、どう直すのか？

« Excluded by 'noindex' tag »は、意図的であれ偶然であれ、自分で作ってしまうインデックスステータスです。Googleのページのインデックス登録レポートのドキュメントは、この理由を3つの文で説明しています。「Googleがページのインデックス登録を試みた際、'noindex'ディレクティブに遭遇したため、そのページはインデックスされませんでした。このページをインデックスさせたくない場合は、そのままで問題ありません。インデックスさせたい場合は、'noindex'ディレクティブを削除する必要があります。」このガイドでは、各URLがその文のどちら側にあるのかを判断し、不要なルールの発生源を特定して、他に影響を与えずに修正する方法を説明します。

「Excluded by 'noindex' tag」とはどういう意味ですか？

noindexルールは、検索エンジンに対して、そのページを検索結果に表示しないよう指示するものです。Googleは、noindexでインデックス登録をブロックするためのガイドで説明しているとおり、次の2か所でこれを読み取ります。

• robotsのメタタグ：HTMLの<head>内の<meta name="robots" content="noindex">（すべての検索エンジン向け）、またはGoogleのみを対象とするname="googlebot"。
• X-Robots-Tag HTTPヘッダー：サーバーがレスポンスとともに送信し、値はnoindexまたはnoneです。PDFなど、HTMLを含まないファイルで使える唯一の方法です。

Googlebotがどちらかを見つけると、そのURLをインデックスの外に置きます。このステータスはSearch Consoleの「インデックス」→「ページ」に表示され、「Why pages aren't indexed」の表に載ります。ヘルプページでは同じ理由が「URL marked 'noindex'」として記載されています。どちらのラベルも同じ状況を指しています。

次の3つの事実が、このレポートの読み方を変えます。

• Googleはあなたの指示に従っています。Googleがページに対して自ら判断する「Crawled - currently not indexed」とは異なり、このステータスはサイトが送った指示を反映しています。
• クロールが必要です。Googleは、取得が許可されたページでしかnoindexルールを見られません。robots.txtでブロックされたページがこのステータスになることはありません。
• ルールは経路上のどこからでも来る可能性があります。HTML、CMS、プラグイン、テーマ、サーバー設定、CDNのいずれもルールを追加できますし、ページのソースにはHTTPヘッダーは表示されません。

正常なのか、エラーなのか？

多くのサイトには、このステータスのURLがあり、その多くは本来そこにあるべきものです。Googleのレポートも、未インデックスとして表示されるページが「必ずしもエラーが原因ではない」と記しています。修正を始める前に、URLの種類でリストを並べ替えてください。

最後の行は見た目以上に重要です。サイトマップはGoogleに「これらのページをインデックスしてください」と伝え、noindexは逆のことを伝えます。サイトマップは、インデックス可能で正規のURLだけに限定してください（Googleへのサイトマップ送信のガイドでは、その整理方法を説明しています）。

不要なnoindexはどこから来るのか？

重要なページにnoindexが付いている場合、原因はほぼ常に以下のいずれかです。よくあるものから順に確認してください。

WordPressのケースは、名前を挙げるほど一般的です。WordPressの表示設定のドキュメントによると、「Discourage search engines from indexing this site」にチェックを入れると、すべてのページのheadにnoindex,nofollowが追加されます（バージョン5.3以降）。公開後に忘れられた1つのチェックボックスだけで、サイト全体がGoogleから消えることがあります。公開やリニューアルは最もリスクの高い時期なので、SEO移行のチェックリストには必ずクロールルールの確認が含まれています。WordPress固有の設定については、WordPressのSEOとGEOのページを参照してください。

ステータスを段階的に診断するには？

1. レポートを開きます。Search Consoleで「インデックス」→「ページ」に進み、「Excluded by 'noindex' tag」をクリックしてリストをエクスポートします。
2. URLを分類します。上の表を使って、インデックスの外にあるべきURLを切り分けます。
3. 重要なURLを1つ検査します。URL検査ツールに貼り付けます。「Indexing allowed?」の行で、Googleがnoindexを見たかどうか、それがrobotsメタタグとX-Robots-Tagヘッダーのどちらから来ているかが分かります。
4. 公開URLをテストします。「Test live URL」をクリックします。公開版にnoindexがなければ、ルールはすでに削除されており、Googleに必要なのは再クロールだけです。
5. 両方の場所を自分で確認します。ページのソースでnoindexを探し、次にレスポンスヘッダーを確認します（ブラウザの開発者ツールのネットワークタブ）。無料のHTTPヘッダーチェッカーなら、開発者ツールを開かずにX-Robots-Tagを確認でき、インデックス可能性チェッカーなら、メタタグ、ヘッダー、robots.txtを一度に確認できます。
6. 発生源を追跡します。発生源の表を使い、まずCMSの設定とSEOプラグインから確認します。

どのように修正しますか？

修正方法は発生源によって異なります。ルールが生成される場所で設定を変更してください。表示されている出力だけを直しても、次の更新で元に戻ってしまいます。

修正後は、URL検査ツールで最も重要なURLのインデックス登録をリクエストし、多くのページが影響を受けた場合はサイトマップを再送信してください。修正したURLのグループについては、レポートの「Validate fix」をクリックします。Googleは、検証には「typically takes up to about two weeks, but in some cases can take much longer」と説明しています。古いルールを含む古いバージョンをGoogleが取得してしまうことがあるので、先にページまたはCDNのキャッシュを削除してください。数週間後もページが表示されない場合は、Googleにページをインデックスさせる方法のガイドで次の対策を確認できます。ページがCrawled - currently not indexedに移った場合は、問題はルールではなくコンテンツにあります。

Noindex、robots.txt、canonicalのどれを使うべきか？

この3つのツールはよく混同され、誤った組み合わせは最も分かりにくいレポートを生みます。

Googleははっきり述べています。robots.txtがページをブロックしている場合、「the crawler will never see the noindex rule」です。ページをインデックスから外したい場合は、そのページが消えるまでnoindexのままクロール可能にしておき、その後にブロックするかどうかを決めてください。ファイルはrobots.txtチェッカーでテストし、すべてのルールについてはrobotsメタタグの仕様を読んでください。そこには、ルールが競合する場合は「the more restrictive rule applies」とも書かれています。

SEOやAIでの見え方にとって、なぜ重要なのか？

noindexのページは、品質がどれほど高くても、Googleからのオーガニッククリックを得られません。大規模なサイトでは、テンプレートに付いた不要なルールが数百の製品ページや記事ページを一度に除外することがあり、最初の兆候は数週間後の流入減少であることが多いものです。サイトがまったく表示されないように見える場合は、Googleに表示されないウェブサイトのチェックリストから始めてください。

AIアシスタントは、もう1つのコストを生みます。ChatGPT、Perplexity、Geminiは、ウェブ検索インデックスからページを取得して引用することで回答することが多いため、インデックスにないページが引用される可能性はわずかです。AIが最も引用するプラットフォームについての調査では、どのような情報源を好むかが分かります。

Sorankは当社の製品で、autopilotで動くSEOとGEOのソフトウェアです。そのGEOとSEOのダッシュボードは、Search Consoleのクリック数、表示回数、掲載順位を表示するため、あるページ群の表示回数が急に落ちたときにすぐ気づけます。また、無料のSorank Chrome拡張機能は、開いたどのページのSEO上の問題にもフラグを立てます。

要点は次のとおりです。順位を得るべきでないページにはnoindexを残し、順位を得るべきページでは発生源からnoindexを削除する。サイトマップにはnoindexのURLを含めず、Googleがnoindexを読む必要があるうちは、そのページをrobots.txtでブロックしない。インデックスされ引用されることを目的に作られたページを公開するには、Sorankのプランを確認してください。月額49€からで、3日間の無料トライアルがあります。