Common Crawl: що це, як його використовують ШІ-моделі та чи варто блокувати CCBot

Common Crawl рідко згадують у обговореннях SEO, хоча це один із головних шляхів, яким публічний веб-контент потрапляє до мовних моделей. Для брендів, які працюють над GEO (щоб ШІ-асистенти їх цитували й описували правильно), розуміння того, як це працює, допомагає вирішити, що дозволити, що заблокувати і чому важлива узгоджена інформація у відкритому вебі. Джерело: commoncrawl.org.

Що таке Common Crawl?

Common Crawl, некомерційна організація, зареєстрована в США як 501(c)(3). Вона сканує веб із 2007 року і надає свої дані безкоштовно. За даними її сайту, корпус охоплює понад 300 мільярдів сторінок за 15 років, зростає на від 3 до 5 мільярдів сторінок на місяць і був процитований у понад 10 000 наукових працях. Кожне сканування публікується як сирі дані сторінок, метадані та витягнутий текст, які може завантажити будь-хто.

Як ШІ-моделі використовують Common Crawl?

Великі мовні моделі навчаються на величезних обсягах тексту, і Common Crawl, одне з найбільших публічних джерел. У статті про GPT-3 Language Models are Few-Shot Learners (2020) відфільтровану версію Common Crawl описано як найбільшу частину навчальних даних, із вагою 60% у суміші. Багато наступних моделей і відкритих наборів даних також походять від нього, зазвичай після жорсткої фільтрації за якістю та дублікатами. Див. наші статті глосарію про LLM і навчальні дані ШІ.

Що таке CCBot?

CCBot, краулер Common Crawl. За даними сторінки CCBot на сайті Common Crawl, він представляється агентом користувача CCBot/2.0, працює з опублікованих діапазонів IP-адрес із зворотним DNS, щоб ви могли перевірити справжність запитів, і його можна зупинити через robots.txt:

• User-agent: CCBot
• Disallow: /

Наш посібник про robots.txt і ШІ-краулери розглядає CCBot разом із GPTBot, ClaudeBot, PerplexityBot і Google-Extended, а стаття глосарію про ШІ-краулери перелічує їх усіх. Безкоштовна перевірка robots.txt покаже, що дозволяє ваш файл.

Дозволяти чи блокувати Common Crawl?

Більшості компаній, чий контент, маркетинг, документація або освіта, вигідно бути в корпусі відкритого вебу. Видавці, чий дохід залежить від ексклюзивного контенту, часто блокують його. Блокування діє на майбутні сканування; воно не видаляє сторінки з минулих архівів чи з уже навчених моделей.

Що Common Crawl означає для GEO

• Узгодженість: те, що відкритий веб каже про ваш бренд (сайт, профілі, відгуки, статті), формує те, чому навчаються моделі. Тримайте факти однаковими всюди (див. узгодженість бренду).
• Зрозумілість: чіткі, фактичні сторінки легше витягувати й повторно використовувати, ніж сторінки, які ховають контент за скриптами.
• Присутність на сторонніх сайтах: згадки в статтях і каталогах множать ваш слід у корпусі.
• Терпіння: навчальні дані потрапляють до моделей через місяці після сканування; пошук у реальному часі працює швидше.

Головне

Common Crawl, відкритий архів, на якому навчаються багато ШІ-моделей; дозвіл CCBot для публічного маркетингового контенту допомагає вашому бренду існувати в цій пам'яті. Поєднуйте це з контентом, який пошук ШІ в реальному часі може знайти та процитувати (див. GEO vs SEO і LLM SEO). Sorank, програма для SEO і GEO, яка працює у режимі autopilot: вона публікує зрозумілий контент із джерелами і, завдяки відстеженню згадок у ШІ, показує, як ChatGPT, Claude і Gemini згадують ваш бренд. Перегляньте тарифи Sorank, є безкоштовний пробний період 3 дні.