Common Crawl: что это, как его используют ИИ-модели и стоит ли блокировать CCBot

Common Crawl редко упоминается в обсуждениях SEO, хотя это один из главных путей, по которым публичный веб-контент попадает в языковые модели. Для брендов, которые работают над GEO (чтобы ИИ-ассистенты цитировали их и описывали правильно), понимание того, как это работает, помогает решить, что разрешить, что заблокировать и почему важна согласованная информация в открытом вебе. Источник: commoncrawl.org.

Что такое Common Crawl?

Common Crawl, некоммерческая организация, зарегистрированная в США как 501(c)(3). Она сканирует веб с 2007 года и предоставляет свои данные бесплатно. По данным её сайта, корпус охватывает более 300 миллиардов страниц за 15 лет, растёт на от 3 до 5 миллиардов страниц в месяц и был процитирован в более чем 10 000 научных работах. Каждый обход публикуется в виде исходных данных страниц, метаданных и извлечённого текста, которые может скачать любой.

Как ИИ-модели используют Common Crawl?

Большие языковые модели учатся на огромных объёмах текста, и Common Crawl, один из крупнейших публичных источников. В статье о GPT-3 Language Models are Few-Shot Learners (2020) отфильтрованная версия Common Crawl описана как самая большая часть обучающих данных, с весом 60% в смеси. Многие последующие модели и открытые наборы данных также происходят от него, обычно после жёсткой фильтрации по качеству и дубликатам. См. наши статьи глоссария о LLM и данных для обучения ИИ.

Что такое CCBot?

CCBot, краулер Common Crawl. По данным страницы CCBot на сайте Common Crawl, он представляется агентом пользователя CCBot/2.0, работает с опубликованных диапазонов IP-адресов с обратным DNS, чтобы вы могли проверить подлинность запросов, и его можно остановить через robots.txt:

• User-agent: CCBot
• Disallow: /

Наше руководство по robots.txt и ИИ-краулерам рассматривает CCBot вместе с GPTBot, ClaudeBot, PerplexityBot и Google-Extended, а статья глоссария о ИИ-краулерах перечисляет их всех. Бесплатная проверка robots.txt покажет, что разрешает ваш файл.

Разрешать или блокировать Common Crawl?

Большинству компаний, чей контент, маркетинг, документация или образование, выгодно присутствовать в корпусе открытого веба. Издатели, чья выручка зависит от эксклюзивного контента, часто блокируют его. Блокировка действует на будущие обходы; она не удаляет страницы из прошлых архивов или из уже обученных моделей.

Что Common Crawl значит для GEO

• Согласованность: то, что открытый веб говорит о вашем бренде (сайт, профили, отзывы, статьи), формирует то, чему учатся модели. Держите факты одинаковыми везде (см. согласованность бренда).
• Ясность: понятные, фактические страницы проще извлекать и повторно использовать, чем страницы, которые прячут контент за скриптами.
• Присутствие на сторонних сайтах: упоминания в статьях и каталогах умножают ваш след в корпусе.
• Терпение: обучающие данные попадают в модели через месяцы после обхода; поиск в реальном времени работает быстрее.

Главное

Common Crawl, открытый архив, на котором учатся многие ИИ-модели; разрешение CCBot для публичного маркетингового контента помогает вашему бренду присутствовать в этой памяти. Сочетайте это с контентом, который поиск ИИ в реальном времени может найти и процитировать (см. GEO vs SEO и LLM SEO). Sorank, программа для SEO и GEO, которая работает в режиме autopilot: она публикует понятный контент с источниками и с помощью отслеживания упоминаний в ИИ показывает, как ChatGPT, Claude и Gemini упоминают ваш бренд. Посмотрите тарифы Sorank, есть бесплатный пробный период 3 дня.