Common Crawl: qué es, cómo lo usan los modelos de IA y si conviene bloquear CCBot

Common Crawl casi nunca aparece en los debates de SEO, pero es una de las principales vías por las que el contenido público de la web llega a los modelos de lenguaje. Para las marcas que trabajan el GEO (que los asistentes de IA las citen y las describan bien), entender cómo funciona ayuda a decidir qué permitir, qué bloquear y por qué importa que la información sea coherente en la web abierta. Fuente: commoncrawl.org.

¿Qué es Common Crawl?

Common Crawl es una organización sin ánimo de lucro, registrada en Estados Unidos como 501(c)(3), que rastrea la web desde 2007 y pone sus datos a disposición de todos de forma gratuita. Según su web, el corpus abarca más de 300 mil millones de páginas en 15 años, crece en 3 a 5 mil millones de páginas al mes y lo citan más de 10.000 artículos de investigación. Cada rastreo se publica como datos brutos de las páginas, metadatos y texto extraído, que cualquiera puede descargar.

¿Cómo usan los modelos de IA Common Crawl?

Los grandes modelos de lenguaje aprenden a partir de cantidades enormes de texto, y Common Crawl es una de las mayores fuentes públicas. El artículo sobre GPT-3, Language Models are Few-Shot Learners (2020), describe una versión filtrada de Common Crawl como el componente más grande de sus datos de entrenamiento, con un peso del 60 % en la mezcla. Muchos modelos y conjuntos de datos abiertos posteriores también derivan de él, normalmente tras un filtrado intenso por calidad y duplicados. Consulta nuestras entradas del glosario sobre LLM y datos de entrenamiento de IA.

¿Qué es CCBot?

CCBot es el rastreador de Common Crawl. Según la página de CCBot de Common Crawl, se identifica con el user agent CCBot/2.0, opera desde rangos de IP publicados con DNS inverso para que puedas verificar las peticiones auténticas, y se puede detener con robots.txt:

• User-agent: CCBot
• Disallow: /

Nuestra guía sobre robots.txt y los rastreadores de IA trata CCBot junto a GPTBot, ClaudeBot, PerplexityBot y Google-Extended, y la entrada del glosario sobre rastreadores de IA los enumera. El comprobador de robots.txt gratuito muestra lo que permite tu archivo.

¿Conviene permitir o bloquear Common Crawl?

La mayoría de los negocios cuyo contenido es de marketing, documentación o formación se benefician de estar en el corpus de la web abierta. Los editores cuyos ingresos dependen de contenido exclusivo suelen bloquearlo. El bloqueo afecta a los rastreos futuros; no elimina las páginas de archivos anteriores ni de modelos ya entrenados.

Qué significa Common Crawl para el GEO

• Coherencia: lo que la web abierta dice de tu marca (tu sitio, tus perfiles, tus reseñas, tus artículos) alimenta lo que aprenden los modelos. Mantén los datos iguales en todas partes (ver coherencia de marca).
• Claridad: las páginas claras y factuales son más fáciles de extraer y reutilizar que las que esconden el contenido tras scripts.
• Presencia en sitios de terceros: las menciones en artículos y directorios multiplican tu huella en el corpus.
• Paciencia: los datos de entrenamiento llegan a los modelos meses después de un rastreo; la recuperación en directo es más rápida.

En resumen

Common Crawl es el archivo abierto del que aprenden muchos modelos de IA; permitir CCBot en tus contenidos de marketing públicos ayuda a que tu marca exista en esa memoria. Combínalo con contenidos que la búsqueda de IA en directo pueda encontrar y citar (ver GEO vs SEO y LLM SEO). Sorank es un software de SEO y GEO que funciona en autopilot: publica contenidos claros y con fuentes, y con el seguimiento de menciones en IA controla cómo ChatGPT, Claude y Gemini mencionan tu marca. Consulta los planes de Sorank, con una prueba gratuita de 3 días.