Studio sulle citazioni IA: Stack Overflow viene citato dalle IA?

Stack Overflow è un archivio pubblico costruito su un unico formato: una domanda tecnica precisa, diverse risposte, voti e spesso una soluzione accettata. Ogni discussione associa un problema a una correzione verificata da altri sviluppatori, esattamente il tipo di materiale da cui un modello linguistico impara bene.

Tre caratteristiche lo rendono una fonte utile:

• Messaggi di errore riportati alla lettera, che corrispondono a ciò che gli utenti incollano in un chatbot.
• Frammenti di codice con spiegazioni e commenti che segnalano i casi limite.
• Segnali della comunità (voti, risposte accettate, modifiche) che indicano quale soluzione funziona davvero.

I contributi sono pubblicati con una licenza Creative Commons che richiede l'attribuzione. Nel 2024 Stack Overflow ha annunciato accordi con Google e OpenAI sull'uso dei suoi contenuti nei loro prodotti di IA, con un riferimento alle discussioni originali.

Le citazioni compaiono quando la domanda è circoscritta e tecnica: «TypeError: cannot read properties of undefined in React», «come annullare l'ultimo commit di git», «list comprehension in Python con due condizioni», «perché la mia JOIN SQL restituisce duplicati». Quando l'assistente cerca sul web, una discussione di Stack Overflow è spesso tra i risultati più pertinenti.

Le domande su aziende, prodotti o servizi non ci portano quasi mai. «Quale CRM per una piccola agenzia» o «questo servizio di hosting è affidabile?» non hanno risposta su Stack Overflow, le cui regole chiudono le richieste di consigli su strumenti o prodotti.

Le domande alla base di questi dati riguardano soprattutto aziende e mercati, quindi Stack Overflow qui è citato raramente. Ciò dipende dal tipo di domanda molto più che dall'autorevolezza del sito.

Gran parte del valore di Stack Overflow è arrivata ai modelli di IA attraverso l'addestramento. La rete Stack Exchange pubblica da anni copie integrali dei suoi contenuti pubblici, e i modelli hanno assimilato le correzioni più comuni al punto da scriverle a memoria. Una risposta generata a memoria non ha alcun link da mostrare.

Le abitudini di ricerca fanno il resto. Perplexity cerca per ogni domanda e mostra le fonti, quindi una discussione può comparire quando una richiesta di debug le corrisponde da vicino. Gemini, basato sulla Ricerca Google, e ChatGPT con la ricerca attiva fanno emergere discussioni soprattutto per errori rari o recenti. Grok può aggiungere post di sviluppatori su X, mentre Claude in genere scrive da sé la correzione e rimanda a una discussione solo quando usa la ricerca web.

Questo rapporto ha cambiato il sito stesso. Il numero di nuove domande è calato nettamente da quando gli assistenti conversazionali si sono diffusi, perché molti sviluppatori interrogano prima un'IA. L'archivio resta, ma framework e versioni recenti sono coperti da meno discussioni nuove.

Un tasso di citazione basso non rende Stack Overflow irrilevante. Per uno strumento per sviluppatori, un'API o un prodotto tecnico, le sue discussioni continuano a influenzare il modo in cui i modelli descrivono il prodotto e ne risolvono i problemi, anche quando non compare alcun link.

Due limiti riguardano i dati. Viene contato solo stackoverflow.com, mentre i siti gemelli della rete Stack Exchange come Super User o Server Fault hanno domini propri. E per un'azienda senza un pubblico tecnico, il sito resta semplicemente fuori dall'insieme di fonti che rispondono alle domande dei clienti.