Common Crawl とは：仕組み、AIモデルでの使われ方、CCBotをブロックすべきか

Common CrawlはSEOの議論ではあまり取り上げられませんが、公開されたウェブのコンテンツが言語モデルに届く主要な経路の一つです。GEO（AIアシスタントに正しく引用・紹介されること）に取り組むブランドにとって、その仕組みを知ることは、何を許可し何をブロックするか、そしてオープンなウェブ上で情報を一貫させることがなぜ重要かを判断する助けになります。出典：commoncrawl.org。

Common Crawlとは

Common Crawlは、米国で501(c)(3)として登録された非営利団体で、2007年からウェブをクロールし、そのデータを無料で公開しています。公式サイトによると、このコーパスは15年間にわたる3000億ページ超を含み、毎月30億から50億ページずつ増えており、10,000本を超える研究論文で引用されています。各クロールは、生のページデータ、メタデータ、抽出されたテキストとして公開され、誰でもダウンロードできます。

AIモデルはCommon Crawlをどう使うのか

大規模言語モデルは膨大な量のテキストから学習し、Common Crawlはその最大級の公開データソースの一つです。GPT-3の論文Language Models are Few-Shot Learners（2020）は、フィルタリング済みのCommon Crawlを学習データ中で最大の構成要素とし、混合比率は60%としています。その後の多くのモデルやオープンデータセットも、通常は品質と重複の厳しいフィルタリングを経て、ここから派生しています。用語集のLLMとAIの学習データの項目もご覧ください。

CCBotとは

CCBotはCommon Crawlのクローラーです。Common CrawlのCCBotのページによると、ユーザーエージェントCCBot/2.0を名乗り、公開されたIPレンジから、逆引きDNSで正規のリクエストかを確認できる形で動作し、robots.txtで停止できます。

• User-agent: CCBot
• Disallow: /

当社のrobots.txtとAIクローラーのガイドでは、CCBotをGPTBot、ClaudeBot、PerplexityBot、Google-Extendedと並べて解説しています。用語集のAIクローラーの項目にも一覧があります。無料のrobots.txtチェッカーでは、ファイルで何が許可されているかを確認できます。

Common Crawlは許可すべきか、ブロックすべきか

マーケティング、ドキュメント、教育のコンテンツが中心の企業の多くは、オープンなウェブのコーパスに含まれることで恩恵を受けます。収益が独占コンテンツに依存する出版社は、ブロックすることがよくあります。ブロックが効くのは今後のクロールだけで、過去のアーカイブや学習済みのモデルからページが消えるわけではありません。

GEOにとってCommon Crawlが意味すること

• 一貫性：オープンなウェブがブランドについて語る内容（サイト、プロフィール、レビュー、記事）が、モデルの学習内容に反映されます。どこでも事実を一致させてください（ブランドの一貫性を参照）。
• 明確さ：明確で事実に基づいたページは、スクリプトの裏にコンテンツを隠したページより抽出・再利用しやすくなります。
• 第三者サイトでの存在感：記事やディレクトリでの言及が、コーパス上でのあなたの足跡を増やします。
• 根気：学習データがモデルに届くのはクロールから数か月後です。ライブ取得の方が早く反映されます。

まとめ

Common Crawlは、多くのAIモデルが学習する公開アーカイブです。公開しているマーケティングコンテンツでCCBotを許可すると、その記憶の中にブランドが存在しやすくなります。ライブのAI検索が見つけて引用できるコンテンツと組み合わせてください（GEOとSEOの違いとLLM SEOを参照）。Sorankは、autopilotで動作するSEO・GEOソフトウェアです。明確で出典のあるコンテンツを公開し、AIでの言及のトラッキングにより、ChatGPT、Claude、Geminiがブランドをどう言及しているかを把握できます。Sorankのプランをご覧ください。3日間の無料トライアルがあります。