Common Crawl: hva det er, hvordan AI-modeller bruker det og om du bør blokkere CCBot

Common Crawl dukker sjelden opp i SEO-diskusjoner, men det er en av hovedveiene offentlig nettinnhold går til språkmodeller. For merkevarer som jobber med GEO (å bli sitert og beskrevet riktig av AI-assistenter), hjelper det å forstå hvordan det fungerer når du skal bestemme hva du vil tillate, hva du vil blokkere og hvorfor konsistent informasjon på det åpne nettet betyr noe. Kilde: commoncrawl.org.

Hva er Common Crawl?

Common Crawl er en ideell organisasjon registrert i USA, som har gjennomsøkt nettet siden 2007 og gjør dataene fritt tilgjengelige. Ifølge nettstedet deres spenner arkivet over over 300 milliarder sider på 15 år, vokser med 3 til 5 milliarder sider per måned, og er sitert i mer enn 10000 forskningsartikler. Hver gjennomsøking publiseres som rå sidedata, metadata og uttrukket tekst som alle kan laste ned.

Hvordan bruker AI-modeller Common Crawl?

Store språkmodeller lærer av enorme mengder tekst, og Common Crawl er en av de største offentlige kildene. GPT-3-artikkelen, Language Models are Few-Shot Learners (2020), beskriver en filtrert versjon av Common Crawl som den største delen av treningsdataene, med en vekt på 60% i treningsblandingen. Mange senere modeller og åpne datasett er også basert på Common Crawl, vanligvis etter tung filtrering for kvalitet og duplikater. Se oppslagene våre i ordlisten om språkmodeller (LLM) og treningsdata for AI.

Hva er CCBot?

CCBot er Common Crawls gjennomsøker. Ifølge Common Crawls side om CCBot identifiserer den seg med brukeragenten CCBot/2.0, kjører fra publiserte IP-områder med revers DNS slik at du kan verifisere ekte forespørsler, og kan stoppes med robots.txt:

• User-agent: CCBot
• Disallow: /

Vår veiledning om robots.txt og AI-gjennomsøkere dekker CCBot sammen med GPTBot, ClaudeBot, PerplexityBot og Google-Extended, og oppslaget i ordlisten om AI-gjennomsøkere lister dem opp. Den gratis robots.txt-sjekkeren viser hva filen din tillater.

Bør du tillate eller blokkere Common Crawl?

De fleste bedrifter der innholdet er markedsføring, dokumentasjon eller undervisning, tjener på å være med i korpuset for det åpne nettet. Utgivere som lever av eksklusivt innhold blokkerer ofte. Blokkering gjelder fremtidige gjennomsøkinger; den fjerner ikke sider fra tidligere arkiver eller fra modeller som allerede er trent.

Hva Common Crawl betyr for GEO

• Konsistens: det det åpne nettet sier om merkevaren din (nettstedet, profiler, anmeldelser, artikler) mates inn i det modellene lærer. Hold fakta konsistente overalt (se merkevarekonsistens).
• Klarhet: klare, faktabaserte sider er lettere å hente ut og gjenbruke enn sider som skjuler innhold bak skript.
• Tilstedeværelse på tredjepartssider: omtaler i artikler og kataloger multipliserer fotavtrykket ditt i korpuset.
• Tålmodighet: treningsdata når modellene flere måneder etter en gjennomsøking; live henting er raskere.

Konklusjon

Common Crawl er arkivet med åpent innhold mange AI-modeller lærer av; å tillate CCBot på det offentlige markedsføringsinnholdet ditt hjelper merkevaren din å finnes i det minnet. Kombiner det med innhold som live AI-søk kan hente og sitere (se GEO vs SEO og LLM SEO). Sorank, programvare for SEO og GEO som kjører på autopilot, publiserer tydelig og kildebasert innhold og følger med på hvordan ChatGPT, Claude og Gemini omtaler merkevaren din, med Oppfølging av AI-omtaler; se Sorank-abonnementene, med 3 dagers gratis prøveperiode.