設定
当社はプライバシーを重視しており、ウェブサイトの基本機能に必要のない特定のストレージを無効にするオプションを提供しています。カテゴリーをブロックすると、ウェブサイトでの体験に影響が出る可能性があります。詳細はこちら
当社はプライバシーを重視しており、ウェブサイトの基本機能に必要のない特定のストレージを無効にするオプションを提供しています。カテゴリーをブロックすると、ウェブサイトでの体験に影響が出る可能性があります。詳細はこちら
AIクローラー向けrobots.txtを解説。OpenAI、Anthropic、Perplexity、Googleのユーザーエージェントと役割、引用され続けるための設定例を紹介します。
AI でこの記事を要約
AIクローラー向けのrobots.txtは、技術的なファイルであると同時にビジネス上の判断になりました。かつてGooglebotとだけ対話していたこのファイルが、今ではChatGPT、Claude、Perplexity、Geminiがページを読み、引用し、リンクできるかを左右します。形式は変わっていません。RFC 9309として標準化されたロボット排除プロトコルで、User-agent、Allow、Disallowの行で構成されます。変わったのはエージェントの数と、一つのベンダーが目的の異なる複数のボットを運用している点です。
多くのAIベンダーは、学習、検索用インデックス、ユーザー起点の取得を別々のユーザーエージェントに分けています。各社のドキュメントに基づき、主なものを表にまとめました。
| ベンダー | ユーザーエージェント | 目的 | ブロックした場合の影響 |
|---|---|---|---|
| OpenAI | GPTBot | OpenAIモデルの学習データ | 今後の学習にコンテンツが使われない |
| OpenAI | OAI-SearchBot | ChatGPT検索用のインデックス | ChatGPT検索で出典として表示されない可能性 |
| OpenAI | ChatGPT-User | ユーザーの依頼でChatGPTが開くページ | 依頼されてもChatGPTがページを開けない |
| Anthropic | ClaudeBot | Claudeモデルの学習データ | 今後の学習にコンテンツが使われない |
| Anthropic | Claude-SearchBot、Claude-User | 検索品質とユーザー依頼の取得 | ウェブ検索を使うClaudeの回答で露出が減る |
| Perplexity | PerplexityBot、Perplexity-User | 検索インデックスとユーザー依頼の取得 | Perplexityで引用される可能性が下がる |
| Googlebot | AI OverviewsとAIモードを含むGoogle検索 | 検索から完全に消える | |
| Google-Extended（トークン） | Geminiモデルと検索外のグラウンディングへの利用 | 検索順位には影響しない | |
| Apple | Applebot-Extended（トークン） | Appleの生成モデルへの利用 | SiriやSpotlight向けのApplebotのクロールは継続 |
| Common Crawl | CCBot | 多くのAIデータセットが再利用するウェブの公開アーカイブ | 今後のアーカイブ収集にコンテンツが含まれない |
出典：OpenAIのクローラーに関するドキュメント、Googleの一般的なクローラー一覧。名称はときどき変わるため、ファイルを編集する前に各ベンダーのページを確認してください。用語集のAIクローラーとOpenAIのクローラーの項目で簡潔な定義を確認できます。
顧客を獲得したい多くの企業にとっては、ブロックすべきではありません。必要なら学習系だけをブロックし、検索系は開放しておきます。判断は何を売っているかで変わります。
ユーザーエージェントごとに明示的なグループを作り、検索系は許可し、学習系は明確に選びます。AIでの露出は欲しいが学習には使われたくない企業向けの例です。
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml学習への利用を許容するなら、2つ目のグループを削除してください。無料のrobots.txtジェネレーターでファイルを作成でき、robots.txtチェッカーで公開中のファイルが実際にどのエージェントを許可しているかを確認できます。
最も多いのは、フォーラムからコピーした一括ルールです。よくあるミスは次のとおりです。
いいえ、扉を開けるだけです。クローラーがページを読めるようになった後、引用されるかどうかは、質問への答えが明確か、抽出しやすい構造か、他の情報源に裏付けられているかで決まります。AI検索向けの構造化データ、冒頭で答えるセクション、任意のllms.txtファイルが次の段階を後押しします。
AIクローラーはそれぞれ別の判断として扱いましょう。検索系とユーザー依頼系は開放し、学習系は意図的に選び、サーバーも同じ方針を適用しているか確認します。そのうえで、開いた扉が引用につながっているかを測定します。SorankはChatGPT、Claude、Geminiでのブランドの状況を毎週追跡し、引用されやすい構造のコンテンツを公開します。3日間の無料トライアルから始めましょう。
それだけでは消えません。GPTBotはOpenAIのモデル学習用データを収集します。ChatGPTの検索は別のクローラーであるOAI-SearchBotと、ユーザーがページを開くよう頼んだときのChatGPT-Userを使います。GPTBotだけをブロックすれば学習への利用は制限され、ChatGPT検索での表示やリンクの対象にはなり続けます。
影響しません。Google-Extendedはrobots.txtのトークンで、独立したクローラーではなく、Googleは検索への掲載や順位に影響しないと明言しています。AI OverviewsとAIモードは検索の一部でGooglebotを使います。Google-Extendedが制御するのは、Geminiモデルや検索以外のグラウンディングへのコンテンツ利用です。
大手ベンダーはユーザーエージェントを公開し、robots.txtに従うと表明していますが、ユーザーが直接起こしたアクセスについては例外があります。透明性の低い一部のボットは無視していると報告されています。厳格に制限したい場合は、robots.txtに加えて、ユーザーエージェントや公開IP範囲に基づくサーバーやファイアウォールのルールを組み合わせてください。
先行導入企業のご紹介
“2年間、クライアントの100%がLinkedIn経由でした。毎日の投稿、コメント、DMでのフォローアップ…完全にアルゴリズム頼みでした。SEOに取り組むべきだとわかっていても、時間がかかる、技術的すぎる、自分の仕事ではないと、いつも後回しにしていました。Sorankでようやく一歩を踏み出しました。4か月で、何も投稿しなくても毎月15件のオーガニックリードを獲得しています。まだLinkedInと半々ではありませんが、自動で育つ2つ目のリード源ができたことで安心して眠れるようになりました。”
Valentin Thomyコールドメール専門エージェンシー“Sorankは、クライアントに提供する成果を大きく変えてくれました。AIが実際に使っているキーワードを特定し、特定の競合が引用される理由を理解し、以前は完全に見落としていたチャンスを見つけられるようになりました。クライアントは、より早い順位上昇、AIの回答での可視性向上、そしてすべての施策のROIがより明確になったことを実感しています。”
Benjamin Rouxovirank.com
“私はマーケターではなく開発者です。私のShopifyテーマは口コミと広告だけで売れていました。Sorankのおかげで、SEOの組み立て方と上位表示される記事の書き方がようやくわかりました。監査で商品ページが遅すぎることも判明しました。2か月でオーガニックトラフィックは2倍になり、ShopifyテーマについてChatGPTで検索されたときの回答にも表示され始めています。しかも、週に約2時間の作業だけです。”
Thème FullStackthemefullstack.com“Sorankのおかげで、私たちのSEOエージェンシーの働き方は大きく変わりました。すべてが一元化・自動化されたため、クライアント1社あたりにかける時間が大幅に減りました。以前は何時間もかかっていた作業が今では数分で終わり、ようやくビジネスの中で働くのではなく、ビジネスそのものに取り組めるようになりました。”
Océane Bondismaison-leverage.com
