Common Crawl: cos'è, come lo usano i modelli di IA e se bloccare CCBot

Common Crawl compare raramente nelle discussioni SEO, eppure è una delle principali strade attraverso cui i contenuti pubblici del web arrivano ai modelli linguistici. Per i brand che lavorano sul GEO (essere citati e descritti correttamente dagli assistenti di IA), capire come funziona aiuta a decidere cosa consentire, cosa bloccare e perché informazioni coerenti sul web aperto contano. Fonte: commoncrawl.org.

Che cos'è Common Crawl?

Common Crawl è un'organizzazione senza scopo di lucro, registrata negli Stati Uniti come 501(c)(3), che esplora il web dal 2007 e rende i suoi dati liberamente disponibili. Secondo il suo sito, il corpus conta oltre 300 miliardi di pagine in 15 anni, cresce di 3 a 5 miliardi di pagine al mese ed è stato citato in più di 10.000 articoli di ricerca. Ogni scansione viene pubblicata come dati grezzi delle pagine, metadati e testo estratto, che chiunque può scaricare.

Come usano Common Crawl i modelli di IA?

I grandi modelli linguistici imparano da quantità enormi di testo, e Common Crawl è una delle più grandi fonti pubbliche. L'articolo su GPT-3, Language Models are Few-Shot Learners (2020), descrive una versione filtrata di Common Crawl come la componente più grande dei suoi dati di addestramento, con un peso del 60 % nel mix. Molti modelli e dataset aperti successivi derivano anch'essi da Common Crawl, di solito dopo un filtraggio pesante per qualità e duplicati. Vedi le nostre voci del glossario su LLM e dati di addestramento dell'IA.

Che cos'è CCBot?

CCBot è il crawler di Common Crawl. Secondo la pagina CCBot di Common Crawl, si identifica con lo user agent CCBot/2.0, opera da intervalli di IP pubblicati con reverse DNS, così puoi verificare le richieste autentiche, e può essere fermato tramite robots.txt:

• User-agent: CCBot
• Disallow: /

La nostra guida a robots.txt e ai crawler di IA tratta CCBot insieme a GPTBot, ClaudeBot, PerplexityBot e Google-Extended, e la voce del glossario sui crawler di IA li elenca. Il controllo robots.txt gratuito mostra cosa consente il tuo file.

Conviene consentire o bloccare Common Crawl?

La maggior parte delle aziende i cui contenuti sono di marketing, documentazione o formazione trae vantaggio dall'essere nel corpus del web aperto. Gli editori che vivono di contenuti esclusivi spesso lo bloccano. Il blocco vale per le scansioni future: non rimuove le pagine dagli archivi passati né dai modelli già addestrati.

Cosa significa Common Crawl per il GEO

• Coerenza: ciò che il web aperto dice del tuo brand (sito, profili, recensioni, articoli) alimenta ciò che i modelli imparano. Mantieni i fatti coerenti ovunque (vedi coerenza del brand).
• Chiarezza: pagine chiare e fattuali sono più facili da estrarre e riutilizzare di quelle che nascondono i contenuti dietro script.
• Presenza su siti terzi: le menzioni in articoli e directory moltiplicano la tua presenza nel corpus.
• Pazienza: i dati di addestramento raggiungono i modelli mesi dopo una scansione; il recupero in tempo reale è più rapido.

In sintesi

Common Crawl è l'archivio aperto da cui imparano molti modelli di IA; consentire CCBot sui tuoi contenuti di marketing pubblici aiuta il tuo brand a esistere in quella memoria. Abbinalo a contenuti che la ricerca di IA in tempo reale può trovare e citare (vedi GEO vs SEO e LLM SEO). Sorank è un software SEO e GEO che funziona in autopilot: pubblica contenuti chiari e documentati e, con il monitoraggio delle menzioni IA, segue come ChatGPT, Claude e Gemini citano il tuo brand. Vedi i piani Sorank, con una prova gratuita di 3 giorni.