Come funziona ChatGPT? Dall'addestramento alla ricerca web e alle fonti citate

Capire come funziona ChatGPT spiega i suoi punti di forza e i suoi errori, e indica cosa rende un sito adatto a essere citato nelle sue risposte. OpenAI ha lanciato ChatGPT nel novembre 2022; il nome deriva da GPT, Generative Pre-trained Transformer.

Quale modello c'è dietro ChatGPT?

ChatGPT si basa su un grande modello linguistico (LLM). Un LLM è un modello statistico con miliardi di parametri che ha imparato dai testi le relazioni tra parole, fatti e stili. Conserva gli schemi appresi da quei testi e li usa per produrre una continuazione plausibile di qualsiasi testo; le singole pagine non vengono conservate come tali.

L'architettura è il transformer, presentato da ricercatori di Google nell'articolo Attention Is All You Need nel 2017. Il suo meccanismo chiave, l'attenzione, permette al modello di pesare ogni parola dell'input rispetto a tutte le altre: così capisce che «lui» si riferisce a un nome tre righe sopra.

Come è stato addestrato ChatGPT?

1. Pre-addestramento

Il modello legge un corpus di testi molto ampio (pagine web pubbliche, libri, codice, dati su licenza) e impara un solo compito: prevedere il token successivo. Ripetuto miliardi di volte, questo compito semplice lo costringe a imparare grammatica, fatti, schemi di ragionamento e molte lingue. Il risultato è un potente predittore di testo che però segue ancora male le istruzioni.

2. Fine-tuning supervisionato

Alcune persone scrivono esempi di buone risposte a richieste, e il modello viene addestrato a imitarle. Impara il formato di un assistente utile: rispondere alla domanda, strutturare la risposta, chiedere chiarimenti se serve.

3. Apprendimento per rinforzo dal feedback umano

Dei valutatori confrontano più risposte alla stessa richiesta e le classificano. Un modello di ricompensa impara queste preferenze, poi il modello linguistico viene ottimizzato per produrre risposte ben valutate. OpenAI ha descritto questo metodo, chiamato RLHF, nel suo articolo di ricerca su InstructGPT. È ciò che rende ChatGPT cortese, strutturato e più prudente davanti a richieste dannose.

Cosa succede quando inviate un messaggio?

Token e finestra di contesto

Un token è un frammento di testo: in inglese un token corrisponde in media a circa quattro caratteri, cioè tre quarti di parola; in italiano una parola ne richiede spesso di più. La finestra di contesto è il numero di token che il modello può considerare insieme, compresi conversazione, documenti e pagine web lette. Quando una conversazione diventa troppo lunga, le parti più vecchie escono dal campo visivo.

Generazione parola per parola

A ogni passaggio il modello calcola una probabilità per ogni token possibile e ne sceglie uno, con una quota controllata di casualità. Per questo la stessa domanda può ricevere risposte leggermente diverse, e per questo ChatGPT scrive in modo fluido anche quando sbaglia: punta a una continuazione probabile, senza verificare i fatti su una fonte.

Come cerca ChatGPT sul web e come cita le fonti?

Un modello conosce solo i propri dati di addestramento, fino a una data limite. Per rispondere su attualità, prezzi o prodotti, ChatGPT può avviare una ricerca web. OpenAI ha annunciato questa funzione come ChatGPT search nell'ottobre 2024. L'assistente riformula la vostra domanda in una o più query, recupera risultati da fornitori di ricerca e dal proprio crawler, legge le pagine e scrive una risposta con link alle fonti.

Questo metodo si chiama retrieval-augmented generation (RAG): il modello genera testo basandosi su documenti appena recuperati. OpenAI documenta i suoi crawler sulla piattaforma per sviluppatori: OAI-SearchBot per la ricerca, GPTBot per l'addestramento e ChatGPT-User per le pagine aperte su richiesta di un utente. Secondo OpenAI, i siti che bloccano OAI-SearchBot nel robots.txt non vengono mostrati nelle risposte di ChatGPT search.

Quali sono i limiti di ChatGPT?

• Allucinazioni: può affermare con sicurezza fatti falsi, citazioni inventate o fonti inesistenti, perché prevede testo plausibile.
• Data limite delle conoscenze: senza ricerca web ignora tutto ciò che è successo dopo i suoi dati di addestramento.
• Limiti di contesto: documenti o conversazioni molto lunghi superano ciò che può considerare insieme.
• Sensibilità alla formulazione: una richiesta leggermente diversa può produrre un'altra risposta o un altro elenco di brand consigliati.
• Scelta delle fonti: quando cerca, legge solo una manciata di pagine, quindi esserci conta.

Cosa significa per farsi citare da ChatGPT?

Capire questo funzionamento offre una checklist chiara per ogni brand che vuole comparire nelle risposte di ChatGPT:

1. Lasciare entrare i crawler: consentite OAI-SearchBot nel robots.txt e servite contenuti HTML che funzionino senza JavaScript pesante.
2. Posizionarsi nella ricerca classica: ChatGPT search parte dai risultati di ricerca, quindi le pagine ben posizionate sulle query sottostanti hanno più probabilità di essere lette.
3. Scrivere passaggi facili da estrarre: una risposta diretta sotto ogni titolo, paragrafi brevi e autonomi, definizioni, tabelle e dati con fonte.
4. Essere presenti dove legge: recensioni, comparativi, forum, media e Wikipedia determinano ciò che il modello dice del vostro brand, sia nei dati di addestramento sia nella ricerca in tempo reale.
5. Restare coerenti: lo stesso nome, la stessa descrizione e gli stessi fatti sul sito e sui profili esterni aiutano il modello a riconoscere il vostro brand come un'unica entità.
6. Misurare: ponete le domande dei vostri clienti e verificate se venite citati. Il verificatore di visibilità su ChatGPT gratuito dà una prima risposta in un minuto.

ChatGPT prevede testo da ciò che ha imparato e, per le domande recenti, dalle poche pagine web che sceglie di leggere: i brand che cita sono quelli con pagine facili da trovare, facili da estrarre e confermate da altre fonti. Per seguire la vostra presenza in ChatGPT, Gemini e Claude nel tempo e pubblicare contenuti pensati per essere citati, Sorank monitora i vostri prompt e scrive articoli ottimizzati in autopilot, con 3 giorni di prova gratuita.