Estudo de citações de IA: as IAs citam Stack Overflow?

O Stack Overflow é um arquivo público construído sobre um único formato: uma pergunta técnica precisa, várias respostas, votos e, muitas vezes, uma solução aceita. Cada tópico liga um problema a uma correção conferida por outros desenvolvedores, exatamente o tipo de material com que um modelo de linguagem aprende bem.

Três características fazem dele uma fonte útil:

• Mensagens de erro citadas ao pé da letra, iguais às que os usuários colam em um chatbot.
• Trechos de código com explicações e comentários que apontam casos-limite.
• Sinais da comunidade (votos, respostas aceitas, edições) que mostram qual solução realmente funciona.

As contribuições são publicadas sob uma licença Creative Commons que exige atribuição. Em 2024, o Stack Overflow anunciou acordos com o Google e a OpenAI sobre o uso de seu conteúdo nos produtos de IA dessas empresas, com crédito aos tópicos originais.

As citações aparecem quando a pergunta é específica e técnica: "TypeError: cannot read properties of undefined no React", "como desfazer o último commit no git", "list comprehension em Python com duas condições", "por que meu JOIN no SQL retorna duplicados". Quando o assistente pesquisa na web, um tópico do Stack Overflow costuma estar entre os resultados mais próximos.

Perguntas sobre empresas, produtos ou serviços quase nunca levam até lá. "Qual CRM para uma agência pequena" ou "essa hospedagem é confiável?" não têm resposta no Stack Overflow, cujas regras fecham pedidos de recomendação de ferramentas ou produtos.

As perguntas por trás destes dados tratam sobretudo de empresas e seus mercados, por isso o Stack Overflow raramente é citado aqui. Isso reflete o tipo de pergunta muito mais do que a autoridade do site.

Grande parte do valor do Stack Overflow chegou aos modelos de IA pelo treinamento. A rede Stack Exchange publica há anos cópias completas de seu conteúdo público, e os modelos assimilaram as correções mais comuns a ponto de escrevê-las de memória. Uma resposta gerada de memória não tem link para mostrar.

Os hábitos de busca fazem o resto. O Perplexity pesquisa a cada pergunta e mostra suas fontes, então um tópico pode aparecer quando uma consulta de depuração corresponde a ele de perto. O Gemini, apoiado na Pesquisa Google, e o ChatGPT com a busca ativada trazem tópicos principalmente para erros raros ou recentes. O Grok pode acrescentar posts de desenvolvedores no X, enquanto o Claude costuma escrever a correção por conta própria e só remete a um tópico quando usa a busca na web.

Essa relação mudou o próprio site. O número de perguntas novas caiu de forma acentuada desde que os assistentes conversacionais se popularizaram, já que muitos desenvolvedores consultam primeiro uma IA. O arquivo continua lá, mas frameworks e versões recentes contam com menos tópicos novos.

Uma taxa de citação baixa não torna o Stack Overflow irrelevante. Para uma ferramenta de desenvolvimento, uma API ou um produto técnico, seus tópicos continuam influenciando a forma como os modelos descrevem esse produto e resolvem problemas com ele, mesmo sem link visível.

Dois limites se aplicam aos números. Só o stackoverflow.com é contabilizado, enquanto sites irmãos da rede Stack Exchange, como Super User ou Server Fault, têm domínios próprios. E, para uma empresa sem público técnico, o site simplesmente fica fora do conjunto de fontes que respondem às perguntas dos clientes.