Common Crawl: o que é, como os modelos de IA o usam e se você deve bloquear o CCBot

O Common Crawl raramente aparece nas discussões de SEO, mas é uma das principais formas pelas quais o conteúdo público da web chega aos modelos de linguagem. Para marcas que trabalham com GEO (ser citada e descrita corretamente pelos assistentes de IA), entender como ele funciona ajuda a decidir o que permitir, o que bloquear e por que informações consistentes na web aberta importam. Fonte: commoncrawl.org.

O que é o Common Crawl?

O Common Crawl é uma organização sem fins lucrativos, registrada nos Estados Unidos como 501(c)(3), que rastreia a web desde 2007 e disponibiliza seus dados gratuitamente. De acordo com o site, o corpus tem mais de 300 bilhões de páginas em 15 anos, cresce de 3 a 5 bilhões de páginas por mês e já foi citado em mais de 10.000 artigos científicos. Cada rastreamento é publicado como dados brutos das páginas, metadados e texto extraído, que qualquer pessoa pode baixar.

Como os modelos de IA usam o Common Crawl?

Os grandes modelos de linguagem aprendem com quantidades enormes de texto, e o Common Crawl é uma das maiores fontes públicas. O artigo sobre o GPT-3, Language Models are Few-Shot Learners (2020), descreve uma versão filtrada do Common Crawl como o maior componente de seus dados de treinamento, com peso de 60 % na mistura. Muitos modelos e conjuntos de dados abertos posteriores também derivam dele, geralmente após uma filtragem pesada por qualidade e duplicatas. Veja nossos verbetes do glossário sobre LLMs e dados de treinamento de IA.

O que é o CCBot?

O CCBot é o rastreador do Common Crawl. Segundo a página do CCBot no Common Crawl, ele se identifica com o user agent CCBot/2.0, opera a partir de faixas de IP publicadas com DNS reverso, para que você possa verificar as requisições legítimas, e pode ser interrompido pelo robots.txt:

• User-agent: CCBot
• Disallow: /

Nosso guia sobre robots.txt e rastreadores de IA trata do CCBot junto com GPTBot, ClaudeBot, PerplexityBot e Google-Extended, e o verbete do glossário sobre rastreadores de IA os lista. O verificador de robots.txt gratuito mostra o que o seu arquivo permite.

Vale a pena permitir ou bloquear o Common Crawl?

A maioria das empresas cujo conteúdo é de marketing, documentação ou educação se beneficia de estar no corpus da web aberta. Editores cuja receita depende de conteúdo exclusivo costumam bloquear. O bloqueio vale para os rastreamentos futuros; ele não remove páginas de arquivos anteriores nem de modelos já treinados.

O que o Common Crawl significa para o GEO

• Consistência: o que a web aberta diz sobre a sua marca (seu site, perfis, avaliações, artigos) alimenta o que os modelos aprendem. Mantenha as informações iguais em todos os lugares (veja consistência de marca).
• Clareza: páginas claras e factuais são mais fáceis de extrair e reutilizar do que páginas que escondem o conteúdo atrás de scripts.
• Presença em sites de terceiros: menções em artigos e diretórios multiplicam sua presença no corpus.
• Paciência: os dados de treinamento chegam aos modelos meses depois de um rastreamento; a recuperação em tempo real é mais rápida.

A conclusão

O Common Crawl é o arquivo aberto do qual muitos modelos de IA aprendem; permitir o CCBot no seu conteúdo de marketing público ajuda sua marca a existir nessa memória. Combine isso com conteúdo que a busca de IA em tempo real consiga encontrar e citar (veja GEO vs SEO e LLM SEO). A Sorank é um software de SEO e GEO que roda no autopilot: publica conteúdo claro e com fontes e, com o monitoramento de menções em IA, acompanha como o ChatGPT, o Claude e o Gemini mencionam a sua marca. Veja os planos da Sorank, com teste grátis de 3 dias.