Common Crawl: hvad det er, hvordan AI-modeller bruger det, og om du skal blokere CCBot

Common Crawl nævnes sjældent i SEO-debatter, men det er en af de vigtigste veje, hvorpå offentligt webindhold når frem til sprogmodeller. For brands, der arbejder med GEO (at blive citeret og beskrevet korrekt af AI-assistenter), hjælper det at forstå, hvordan det virker, med at afgøre hvad du skal tillade, hvad du skal blokere, og hvorfor ensartet information på det åbne web betyder noget. Kilde: commoncrawl.org.

Hvad er Common Crawl?

Common Crawl er en almennyttig organisation (med den amerikanske status 501(c)(3)), der har crawlet nettet siden 2007 og gør sine data frit tilgængelige. Ifølge hjemmesiden spænder korpusset over mere end 300 milliarder sider på 15 år, vokser med 3 til 5 milliarder sider om måneden og er blevet citeret i over 10.000 forskningsartikler. Hvert crawl udgives som rå sidedata, metadata og udtrukket tekst, som alle kan downloade.

Hvordan bruger AI-modeller Common Crawl?

Store sprogmodeller lærer af enorme mængder tekst, og Common Crawl er en af de største offentlige kilder. GPT-3-artiklen, Language Models are Few-Shot Learners (2020), beskriver en filtreret version af Common Crawl som den største del af dens træningsdata, med en vægt på 60% i træningsmixet. Mange senere modeller og åbne datasæt bygger også på Common Crawl, typisk efter grundig filtrering for kvalitet og dubletter. Se vores ordbogsartikler om LLM'er og træningsdata til AI.

Hvad er CCBot?

CCBot er Common Crawls crawler. Ifølge Common Crawls side om CCBot identificerer den sig selv med user agent CCBot/2.0, kører fra offentliggjorte IP-områder med reverse DNS, så du kan verificere ægte forespørgsler, og den kan stoppes med robots.txt:

• User-agent: CCBot
• Disallow: /

Vores guide til robots.txt og AI-crawlere dækker CCBot sammen med GPTBot, ClaudeBot, PerplexityBot og Google-Extended, og ordbogsartiklen om AI-crawlere lister dem. Det gratis robots.txt-tjek viser, hvad din fil tillader.

Skal du tillade eller blokere Common Crawl?

De fleste virksomheder, hvis indhold er markedsføring, dokumentation eller undervisning, har gavn af at være med i korpusset på det åbne web. Udgivere, hvis indtægter afhænger af eksklusivt indhold, blokerer det ofte. Blokering gælder for fremtidige crawls; den fjerner ikke sider fra tidligere arkiver eller fra modeller, der allerede er trænet.

Hvad betyder Common Crawl for GEO?

• Konsistens: det, det åbne web siger om dit brand (dit site, profiler, anmeldelser, artikler), indgår i det, modellerne lærer. Hold fakta ensartede overalt (se brandkonsistens).
• Klarhed: klare, faktuelle sider er lettere at udtrække og genbruge end sider, der skjuler indhold bag scripts.
• Tilstedeværelse på tredjepartssites: omtaler i artikler og kataloger øger dit fodaftryk i korpusset.
• Tålmodighed: træningsdata når modeller måneder efter et crawl; hentning i realtid er hurtigere.

Konklusionen

Common Crawl er det åbne arkiv, mange AI-modeller lærer af; at tillade CCBot på dit offentlige markedsføringsindhold hjælper dit brand med at findes i den hukommelse. Kombiner det med indhold, som AI-søgning i realtid kan hente og citere (se GEO vs SEO og LLM-SEO). Sorank er SEO- og GEO-software, der kører på autopilot, udgiver klart indhold med kilder og følger, hvordan ChatGPT, Claude og Gemini omtaler dit brand, med sporing af AI-omtaler. Se Sorank-priserne med en gratis prøveperiode på 3 dage.