Common Crawl: co to je, jak ho využívají modely AI a zda blokovat CCBot

Common Crawl se v debatách o SEO objevuje zřídka, přesto je jednou z hlavních cest, jak se veřejný obsah webu dostává do jazykových modelů. Pro značky, které dělají GEO (aby je asistenti AI citovali a popisovali správně), pomáhá vědět, jak to funguje, a rozhodnout, co povolit, co blokovat a proč je na otevřeném webu důležité konzistentní sdělení. Zdroj: commoncrawl.org.

Co je Common Crawl?

Common Crawl je nezisková organizace registrovaná v USA, která prochází web od roku 2007 a své údaje zpřístupňuje zdarma. Podle jejích webových stránek korpus zahrnuje přes 300 miliard stránek za 15 let, každý měsíc přibývají 3 až 5 miliard stránek a na více než 10 000 výzkumných prací se odkazuje. Každé procházení se zveřejňuje jako surová data stránek, metadata a extrahovaný text, které si může kdokoli stáhnout.

Jak modely AI využívají Common Crawl?

Velké jazykové modely se učí z obrovského množství textu a Common Crawl patří k největším veřejným zdrojům. Studie Language Models are Few-Shot Learners (2020) k modelu GPT-3 popisuje filtrovanou verzi Common Crawl jako největší část jeho trénovacích dat, s váhou 60% v trénovací směsi. Mnohé pozdější modely a otevřené datové sady také vycházejí z Common Crawl, obvykle po důkladném filtrování kvality a duplicit. Viz naše pojmy ve slovníku LLM a trénovací data pro AI.

Co je CCBot?

CCBot je prohledávač Common Crawl. Podle stránky o CCBot na Common Crawl se představuje uživatelským agentem CCBot/2.0, běží ze zveřejněných rozsahů IP adres s obráceným DNS, takže lze ověřit pravé požadavky, a dá se zastavit souborem robots.txt:

• User-agent: CCBot
• Disallow: /

Náš průvodce robots.txt a prohledávači AI popisuje CCBot spolu s GPTBot, ClaudeBot, PerplexityBot a Google-Extended a pojem prohledávače AI je vyjmenovává. Bezplatný kontrolor robots.txt ukáže, co váš soubor povoluje.

Povolit, nebo blokovat Common Crawl?

Většina firem, jejichž obsah je marketing, dokumentace nebo vzdělávání, těží z toho, že je v korpusu otevřeného webu. Vydavatelé, jejichž příjmy závisí na exkluzivním obsahu, ho často blokují. Blokování platí pro budoucí procházení; neodstraní stránky z minulých archivů ani z modelů, které už byly natrénovány.

Co Common Crawl znamená pro GEO

• Konzistence: to, co o vaší značce říká otevřený web (váš web, profily, recenze, články), se promítá do toho, co se modely učí. Udržujte fakta všude stejná (viz konzistence značky).
• Srozumitelnost: jasné a věcné stránky se snáze vytěží a znovu použijí než stránky, které skrývají obsah za skripty.
• Přítomnost na cizích webech: zmínky v článcích a adresářích násobí vaši stopu v korpusu.
• Trpělivost: trénovací data se k modelům dostanou měsíce po procházení; vyhledávání v reálném čase je rychlejší.

Závěr

Common Crawl je otevřený archiv, ze kterého se učí mnoho modelů AI; povolení CCBot na veřejném marketingovém obsahu pomáhá, aby vaše značka v té paměti existovala. Kombinujte to s obsahem, který může živé vyhledávání AI najít a citovat (viz GEO vs SEO a LLM SEO). Software Sorank pro SEO a GEO běží na autopilotovi, publikuje jasný obsah se zdroji a sleduje, jak ChatGPT, Claude a Gemini zmiňují vaši značku, pomocí sledování zmínek AI; podívejte se na tarify Sorank, s 3denní bezplatnou zkušební dobou.