Common Crawl：它是什么，AI 模型如何使用它，以及是否应该屏蔽 CCBot

Common Crawl 在 SEO 讨论中很少被提及，但它是公开网络内容进入语言模型的主要途径之一。对于正在做 GEO（让 AI 助手引用并准确描述你的品牌）的品牌来说，了解它的运作方式，有助于决定允许什么、屏蔽什么，以及为什么开放网络上的信息保持一致很重要。来源：commoncrawl.org。

什么是 Common Crawl？

Common Crawl 是一家在美国注册的 501(c)(3) 非营利组织，自 2007 年起抓取网络，并免费提供其数据。据其官网介绍，该语料库在 15 年间涵盖超过 3000 亿个网页，每月增长 30 亿到 50 亿个网页，并已被 10,000 多篇研究论文引用。每次抓取都会以原始网页数据、元数据和提取文本的形式发布，任何人都可以下载。

AI 模型如何使用 Common Crawl？

大型语言模型从海量文本中学习，而 Common Crawl 是最大的公开来源之一。GPT-3 论文 Language Models are Few-Shot Learners（2020）将经过过滤的 Common Crawl 版本描述为其训练数据中最大的组成部分，在训练组合中占 60% 的权重。此后许多模型和开放数据集也源自它，通常是在经过严格的质量和重复内容过滤之后。请参阅我们术语表中关于 LLM 和 AI 训练数据 的条目。

什么是 CCBot？

CCBot 是 Common Crawl 的抓取工具。根据 Common Crawl 的 CCBot 页面，它使用 CCBot/2.0 用户代理标识自己，从公布的 IP 段运行，并支持反向 DNS 以便你验证请求的真实性，同时可以通过 robots.txt 将其停止：

• User-agent: CCBot
• Disallow: /

我们关于 robots.txt 与 AI 抓取工具的指南将 CCBot 与 GPTBot、ClaudeBot、PerplexityBot 和 Google-Extended 一并介绍，术语表中的 AI 抓取工具条目也列出了它们。免费的 robots.txt 检查工具可以显示你的文件允许了什么。

应该允许还是屏蔽 Common Crawl？

大多数内容为营销、文档或教育的企业，都能从进入开放网络语料库中受益。依赖独家内容获得收入的出版商则常常屏蔽它。屏蔽只影响未来的抓取；它不会从过去的档案或已经训练好的模型中移除页面。

Common Crawl 对 GEO 意味着什么

• 一致性：开放网络关于你品牌的说法（你的网站、资料页、评价、文章）会影响模型的学习内容。请在各处保持事实一致（参见 品牌一致性）。
• 清晰度：清晰、真实的页面比把内容藏在脚本后面的页面更容易被提取和复用。
• 第三方网站上的存在感：文章和目录中的提及会扩大你在语料库中的覆盖面。
• 耐心：训练数据在一次抓取之后要数月才会进入模型；实时检索则快得多。

结论

Common Crawl 是许多 AI 模型学习所依赖的开放档案库；允许 CCBot 抓取你公开的营销内容，有助于你的品牌存在于这份记忆之中。请将其与 AI 实时搜索能够找到并引用的内容结合起来（参见 GEO 与 SEO 和 LLM SEO）。Sorank 是一款 SEO 与 GEO 软件，以 autopilot 模式运行：它发布清晰、有来源依据的内容，并通过 AI 提及追踪，监测 ChatGPT、Claude 和 Gemini 如何提到你的品牌。请查看 Sorank 套餐，提供 3 天免费试用。