Common Crawl: wat het is, hoe AI-modellen het gebruiken en of je CCBot moet blokkeren

Common Crawl komt zelden voor in SEO-discussies, maar het is een van de belangrijkste manieren waarop openbare webcontent bij taalmodellen terechtkomt. Voor merken die met GEO werken (door AI-assistenten correct geciteerd en beschreven worden), helpt het begrijpen van de werking bij de keuze wat je toestaat, wat je blokkeert en waarom consistente informatie op het open web belangrijk is. Bron: commoncrawl.org.

Wat is Common Crawl?

Common Crawl is een non-profitorganisatie die is geregistreerd in de VS als 501(c)(3). Ze doorzoeken het web sinds 2007 en stellen hun data gratis beschikbaar. Volgens hun website omvat het corpus meer dan 300 miljard pagina's over 15 jaar, groeit het met 3 tot 5 miljard pagina's per maand en is het in meer dan 10.000 onderzoekspublicaties geciteerd. Elke crawl wordt gepubliceerd als ruwe paginadata, metadata en geëxtraheerde tekst, die iedereen kan downloaden.

Hoe gebruiken AI-modellen Common Crawl?

Grote taalmodellen leren van enorme hoeveelheden tekst, en Common Crawl is een van de grootste openbare bronnen. Het GPT-3-artikel Language Models are Few-Shot Learners (2020) beschrijft een gefilterde versie van Common Crawl als het grootste onderdeel van de trainingsdata, met een gewicht van 60 % in de trainingsmix. Veel latere modellen en open datasets zijn er ook op gebaseerd, meestal na zware filtering op kwaliteit en duplicaten. Zie onze begrippenlijst over LLM's en AI-trainingsdata.

Wat is CCBot?

CCBot is de crawler van Common Crawl. Volgens de CCBot-pagina van Common Crawl identificeert hij zichzelf met de user agent CCBot/2.0, werkt hij vanaf gepubliceerde IP-bereiken met reverse DNS, zodat je echte verzoeken kunt controleren, en kun je hem stoppen met robots.txt:

• User-agent: CCBot
• Disallow: /

Onze gids over robots.txt en AI-crawlers behandelt CCBot naast GPTBot, ClaudeBot, PerplexityBot en Google-Extended, en het begrippenlijst-artikel over AI-crawlers somt ze op. De gratis robots.txt-checker laat zien wat jouw bestand toestaat.

Moet je Common Crawl toestaan of blokkeren?

De meeste bedrijven waarvan de content marketing, documentatie of educatie is, profiteren van een plek in het open webcorpus. Uitgevers wiens inkomsten van exclusieve content afhangen, blokkeren het vaak. Blokkeren geldt voor toekomstige crawls; het haalt pagina's niet uit eerdere archieven of uit modellen die al getraind zijn.

Wat Common Crawl betekent voor GEO

• Consistentie: wat het open web over je merk zegt (je site, profielen, reviews, artikelen) voedt wat modellen leren. Houd feiten overal gelijk (zie merkconsistentie).
• Helderheid: heldere, feitelijke pagina's zijn makkelijker te extraheren en te hergebruiken dan pagina's die content achter scripts verbergen.
• Aanwezigheid op externe sites: vermeldingen in artikelen en directory's vergroten je voetafdruk in het corpus.
• Geduld: trainingsdata bereikt modellen maanden na een crawl; live ophalen gaat sneller.

De kern

Common Crawl is het open archief waar veel AI-modellen van leren; CCBot toestaan op je openbare marketingcontent helpt je merk in dat geheugen te bestaan. Combineer dat met content die live AI-zoeken kan vinden en citeren (zie GEO vs SEO en LLM SEO). Sorank is SEO- en GEO-software die op autopilot draait: het publiceert heldere, onderbouwde content en volgt met AI-vermeldingstracking hoe ChatGPT, Claude en Gemini je merk noemen. Bekijk de Sorank-abonnementen, met een gratis proefperiode van 3 dagen.