Comment fonctionne ChatGPT ? De l'entraînement à la recherche web et aux sources citées

Comprendre comment fonctionne ChatGPT explique à la fois ses forces et ses erreurs, et indique ce qui rend un site susceptible d'être cité dans ses réponses. OpenAI a lancé ChatGPT en novembre 2022 ; son nom vient de GPT, Generative Pre-trained Transformer.

Quel modèle se cache derrière ChatGPT ?

ChatGPT repose sur un grand modèle de langage (LLM). Un LLM est un modèle statistique de plusieurs milliards de paramètres qui a appris, à partir de textes, les relations entre les mots, les faits et les styles. Il garde des régularités apprises dans ces textes et s'en sert pour produire une suite plausible à n'importe quel texte ; les pages elles-mêmes ne sont pas conservées telles quelles.

Son architecture est le transformer, présenté par des chercheurs de Google dans l'article Attention Is All You Need en 2017. Son mécanisme central, l'attention, permet au modèle de peser chaque mot du texte par rapport à tous les autres : il comprend ainsi que « il » renvoie à un nom placé trois lignes plus haut.

Comment ChatGPT a-t-il été entraîné ?

1. Le préentraînement

Le modèle lit un très grand corpus de textes (pages web publiques, livres, code, données sous licence) et apprend une seule tâche : prédire le jeton suivant. Répétée des milliards de fois, cette tâche simple l'oblige à apprendre la grammaire, des faits, des schémas de raisonnement et de nombreuses langues. On obtient un prédicteur de texte puissant, qui suit encore mal les instructions.

2. L'ajustement supervisé

Des personnes rédigent des exemples de bonnes réponses à des demandes, et le modèle est entraîné à les imiter. Il apprend le format d'un assistant utile : répondre à la question, structurer la réponse, demander une précision si besoin.

3. L'apprentissage par renforcement à partir du retour humain

Des évaluateurs comparent plusieurs réponses à une même demande et les classent. Un modèle de récompense apprend ces préférences, puis le modèle de langage est optimisé pour produire des réponses bien notées. OpenAI a décrit cette méthode, appelée RLHF, dans son article de recherche InstructGPT. C'est elle qui rend ChatGPT poli, structuré et plus prudent face aux demandes dangereuses.

Que se passe-t-il quand vous envoyez un message ?

Les jetons et la fenêtre de contexte

Un jeton (token) est un fragment de texte : en anglais, un jeton fait en moyenne environ quatre caractères, soit trois quarts de mot ; en français, un mot en compte souvent un peu plus. La fenêtre de contexte est le nombre de jetons que le modèle peut prendre en compte à la fois, conversation, documents et pages web lues compris. Quand une conversation devient trop longue, les parties les plus anciennes sortent du champ.

La génération mot par mot

À chaque étape, le modèle calcule une probabilité pour chaque jeton possible et en choisit un, avec une part de hasard contrôlée. C'est pourquoi une même question peut recevoir des réponses légèrement différentes, et pourquoi ChatGPT écrit avec aisance même quand il se trompe : il vise une suite probable, sans vérifier les faits auprès d'une source.

Comment ChatGPT cherche-t-il sur le web et cite-t-il ses sources ?

Un modèle ne connaît que ses données d'entraînement, jusqu'à une date de coupure. Pour répondre sur l'actualité, des prix ou des produits, ChatGPT peut lancer une recherche web. OpenAI a annoncé cette fonction sous le nom de ChatGPT search en octobre 2024. L'assistant reformule votre question en une ou plusieurs requêtes, récupère des résultats auprès de fournisseurs de recherche et de son propre robot, lit les pages et rédige une réponse avec des liens vers ses sources.

Cette méthode s'appelle la génération augmentée par récupération (RAG) : le modèle produit un texte appuyé sur des documents qu'il vient de récupérer. OpenAI documente ses robots sur sa plateforme développeurs : OAI-SearchBot pour la recherche, GPTBot pour l'entraînement et ChatGPT-User pour les pages ouvertes à la demande d'un utilisateur. OpenAI indique que les sites qui bloquent OAI-SearchBot dans leur robots.txt ne sont pas affichés dans les réponses de ChatGPT search.

Quelles sont les limites de ChatGPT ?

• Hallucinations : il peut affirmer avec assurance des faits faux, des citations inventées ou des sources inexistantes, car il prédit un texte plausible.
• Date de coupure : sans recherche web, il ignore tout ce qui suit ses données d'entraînement.
• Limites de contexte : les documents ou conversations très longs dépassent ce qu'il peut considérer à la fois.
• Sensibilité à la formulation : une demande légèrement différente peut produire une autre réponse, ou une autre liste de marques recommandées.
• Choix des sources : quand il cherche, il ne lit qu'une poignée de pages ; en faire partie compte.

Qu'est-ce que cela implique pour être cité par ChatGPT ?

Comprendre ce fonctionnement donne une liste de contrôle nette pour toute marque qui veut apparaître dans les réponses de ChatGPT :

1. Laisser entrer les robots : autorisez OAI-SearchBot dans le robots.txt et servez un contenu HTML lisible sans JavaScript lourd.
2. Se classer dans la recherche classique : ChatGPT search part de résultats de recherche, donc les pages bien classées sur les requêtes sous-jacentes ont plus de chances d'être lues.
3. Écrire des passages faciles à extraire : une réponse directe sous chaque titre, des paragraphes courts et autonomes, des définitions, des tableaux et des chiffres sourcés.
4. Être présent là où il lit : avis, comparatifs, forums, médias et Wikipédia façonnent ce que le modèle dit de votre marque, dans les données d'entraînement comme dans la recherche en direct.
5. Rester cohérent : le même nom, la même description et les mêmes faits sur votre site et vos profils tiers aident le modèle à identifier votre marque comme une seule entité.
6. Mesurer : posez les questions de vos clients et voyez si vous êtes cité. Le vérificateur de visibilité ChatGPT gratuit donne une première réponse en une minute.

ChatGPT prédit du texte à partir de ce qu'il a appris et, pour les questions récentes, des quelques pages web qu'il choisit de lire : les marques qu'il cite sont celles dont les pages sont faciles à trouver, faciles à extraire et confirmées par d'autres sources. Pour suivre votre présence dans ChatGPT, Gemini et Claude dans la durée et publier des contenus pensés pour être cités, Sorank suit vos prompts et rédige des articles optimisés en autopilote, avec 3 jours offerts.