Common Crawl : ce que c'est, comment les IA l'utilisent et s'il faut bloquer CCBot

Common Crawl apparaît rarement dans les discussions SEO, pourtant c'est l'une des principales voies par lesquelles le contenu public du web atteint les modèles de langage. Pour les marques qui travaillent le GEO (être citées et bien décrites par les assistants IA), comprendre son fonctionnement aide à décider quoi autoriser, quoi bloquer et pourquoi des informations cohérentes sur le web ouvert comptent. Source : commoncrawl.org.

Qu'est-ce que Common Crawl ?

Common Crawl est une organisation à but non lucratif, enregistrée aux États-Unis sous le statut 501(c)(3), qui explore le web depuis 2007 et rend ses données librement accessibles. Selon son site, le corpus couvre plus de 300 milliards de pages sur 15 ans, grandit de 3 à 5 milliards de pages par mois et a été cité dans plus de 10'000 articles de recherche. Chaque exploration est publiée sous forme de pages brutes, de métadonnées et de texte extrait, que chacun peut télécharger.

Comment les modèles d'IA utilisent-ils Common Crawl ?

Les grands modèles de langage apprennent à partir de quantités énormes de texte, et Common Crawl est l'une des plus grandes sources publiques. L'article sur GPT-3, Language Models are Few-Shot Learners (2020), décrit une version filtrée de Common Crawl comme la plus grande composante de ses données d'entraînement, avec un poids de 60 % dans le mélange. De nombreux modèles et jeux de données ouverts ultérieurs en dérivent aussi, en général après un filtrage poussé pour la qualité et les doublons. Voir nos fiches du glossaire sur les LLM et les données d'entraînement de l'IA.

Qu'est-ce que CCBot ?

CCBot est le robot d'exploration de Common Crawl. Selon la page CCBot de Common Crawl, il s'identifie avec l'agent utilisateur CCBot/2.0, opère depuis des plages d'adresses IP publiées avec une résolution DNS inverse qui permet de vérifier les requêtes authentiques, et peut être arrêté via robots.txt :

• User-agent: CCBot
• Disallow: /

Notre guide sur robots.txt et les robots d'exploration IA traite de CCBot aux côtés de GPTBot, ClaudeBot, PerplexityBot et Google-Extended, et la fiche du glossaire sur les robots d'exploration IA les répertorie. Le vérificateur robots.txt gratuit montre ce que votre fichier autorise.

Faut-il autoriser ou bloquer Common Crawl ?

La plupart des entreprises dont le contenu est marketing, documentation ou pédagogique gagnent à figurer dans le corpus du web ouvert. Les éditeurs dont les revenus reposent sur des contenus exclusifs le bloquent souvent. Le blocage vaut pour les explorations futures : il ne retire ni les pages des archives passées, ni les modèles déjà entraînés.

Ce que Common Crawl change pour le GEO

• Cohérence : ce que le web ouvert dit de votre marque (votre site, vos profils, vos avis, vos articles) alimente ce que les modèles apprennent. Gardez les mêmes informations partout (voir cohérence de marque).
• Clarté : des pages claires et factuelles sont plus faciles à extraire et à réutiliser que des pages qui cachent leur contenu derrière des scripts.
• Présence sur des sites tiers : les mentions dans les articles et les annuaires multiplient votre empreinte dans le corpus.
• Patience : les données d'entraînement arrivent dans les modèles des mois après une exploration ; la récupération en direct est plus rapide.

L'essentiel

Common Crawl est l'archive ouverte dont beaucoup de modèles d'IA apprennent ; autoriser CCBot sur vos contenus marketing publics aide votre marque à exister dans cette mémoire. Combinez-le avec des contenus que la recherche IA en direct peut retrouver et citer (voir GEO vs SEO et LLM SEO). Sorank est un logiciel SEO et GEO qui fonctionne en autopilote : il publie des contenus clairs et sourcés, et suit la façon dont ChatGPT, Claude et Gemini mentionnent votre marque grâce au suivi des mentions IA. Voir les offres Sorank, avec un essai gratuit de 3 jours.