要点
このチェッカーは、ドメインの robots.txt を解析して構文を検証し、GPTBot や Google-Extended などの AI クローラーが許可、一部許可、ブロックのどれに当たるかを示します。ルールが一つ間違うだけで AI のプラットフォーム全体から消えることもあるため、ブロックが意図したものか確かめ、特定のボットやパスに絞って制限してください。
さらに詳しく知るには、こちらに質問
robots.txt チェッカーは、任意のドメインの robots.txt を取得して解析し、構文を検証したうえで、GPTBot、PerplexityBot、Google-Extended といった AI クローラーに関わるディレクティブを示します。上のツールにドメインを入力すると、すぐに分析できます。
robots.txt の基本と、AI クローラーが変えたこと
robots.txt はドメインの直下に置くテキストファイルで、クローラーがどのパスにアクセスしてよいか、してはいけないかを伝えます。長年、運営者が書くルールの相手は主に Googlebot と Bingbot でした。AI検索の台頭によって、それぞれ独自のユーザーエージェントを持つ新しい種類のボットが登場し、明示的に許可するかブロックするかを決める必要が出てきました。
代表的な AI クローラーのユーザーエージェントには、GPTBot（OpenAI、ChatGPT）、PerplexityBot（Perplexity）、Google-Extended（Google の AI 学習と Gemini の機能）、ClaudeBot（Anthropic）、OAI-SearchBot（OpenAI のウェブ検索）があります。robots.txt が User-agent: * に対して一律の Disallow: / を使っている場合、個別に許可し直さないかぎり、これらすべてをブロックすることになります。
上のツールが確認する項目
- 構文の妥当性：書式の誤ったディレクティブ、エージェントのブロック間の空行の欠落、対応していないフィールドを検出します。
- AI ボットのアクセス：主要な AI クローラーごとに、許可、一部許可、完全なブロックのいずれかを報告します。
- Crawl-delay のディレクティブ：過剰な待機は AI のインデックスを遅らせます。推奨値を超える設定を指摘します。
- サイトマップの宣言：Sitemap の行があり、有効な XML のサイトマップを指しているかを確認します。
- ワイルドカードの記述：パーサーによって解釈が分かれる
*と$の使い方を検証します。 - 矛盾するルール：より具体的なルールが広いルールと食い違う場合に、どちらのディレクティブが優先されるかを説明します。
結果の読み方と打ち手
- GPTBot や PerplexityBot がブロックされている場合：それが意図したものかどうかを判断してください。AI 検索での可視性を望むなら、そのユーザーエージェントのブロックに明示的な
Allow: /を追加するか、一律の拒否を外します。 - Google-Extended がブロックされている場合：自社のページが Gemini の知識や、Google の AI 学習データを使う機能から除外される可能性があります。得失を慎重に検討してください。
- やみくもにすべての制限を外さないでください。スクレイパーやコンテンツの盗用をブロックするのは正当です。制限は的を絞り、すべてのクローラーではなく、特定のボットやパスをブロックしてください。
- 編集したら、公開前に上のツールをもう一度実行して、変更が正しく反映されているか確認してください。
- robots.txt と、整った llms.txt を組み合わせて、AI クローラーに許可と案内図の両方を与えてください。
基準：ボットを 1 つブロックすると、そのプラットフォームから消える
AI Overviews は現在、Google のクエリのおよそ 31% で表示されます。Google-Extended を対象にした Disallow の行が 1 つ間違っているだけで、自社のページが Gemini の回答の候補から完全に外れることがあります。同様に、GPTBot をブロックすると、ChatGPT のウェブ閲覧機能はクロール時に自社のコンテンツを読めません。代償は釣り合っていません。robots.txt のルールを直すのは数分ですが、失った AI での可視性を取り戻すには数週間かかります。
主要な AI すべての回答でのブランドの存在感を継続的に監視するなら、Sorank が引用と可視性を自動で追跡します。
