Como funciona o ChatGPT? Do treinamento à busca na web e às fontes citadas

Entender como funciona o ChatGPT explica seus pontos fortes e seus erros, e mostra o que torna um site candidato a ser citado nas respostas. A OpenAI lançou o ChatGPT em novembro de 2022; o nome vem de GPT, Generative Pre-trained Transformer.

Que modelo está por trás do ChatGPT?

O ChatGPT roda sobre um grande modelo de linguagem (LLM). Um LLM é um modelo estatístico com bilhões de parâmetros que aprendeu, a partir de textos, as relações entre palavras, fatos e estilos. Ele guarda padrões aprendidos nesses textos e os usa para produzir uma continuação plausível de qualquer texto; as páginas em si não ficam armazenadas como tais.

A arquitetura é o transformer, apresentado por pesquisadores do Google no artigo Attention Is All You Need em 2017. Seu mecanismo central, a atenção, permite ao modelo pesar cada palavra da entrada em relação a todas as outras, e assim ele entende que "ele" se refere a um substantivo três linhas acima.

Como o ChatGPT foi treinado?

1. Pré-treinamento

O modelo lê um corpus de texto muito grande (páginas web públicas, livros, código, dados licenciados) e aprende uma única tarefa: prever o próximo token. Repetida bilhões de vezes, essa tarefa simples o obriga a aprender gramática, fatos, padrões de raciocínio e muitos idiomas. O resultado é um poderoso previsor de texto que ainda segue mal as instruções.

2. Ajuste supervisionado

Pessoas escrevem exemplos de boas respostas a pedidos, e o modelo é treinado para imitá-los. Ele aprende o formato de um assistente útil: responder à pergunta, estruturar a resposta, pedir esclarecimentos quando necessário.

3. Aprendizado por reforço com feedback humano

Avaliadores comparam várias respostas ao mesmo pedido e as classificam. Um modelo de recompensa aprende essas preferências e, em seguida, o modelo de linguagem é otimizado para produzir respostas bem avaliadas. A OpenAI descreveu esse método, chamado RLHF, em seu artigo de pesquisa sobre o InstructGPT. É ele que torna o ChatGPT educado, estruturado e mais cuidadoso diante de pedidos nocivos.

O que acontece quando você envia uma mensagem?

Tokens e janela de contexto

Um token é um pedaço de texto: em inglês, um token tem em média cerca de quatro caracteres, ou três quartos de uma palavra; em português, uma palavra costuma usar um pouco mais. A janela de contexto é o número de tokens que o modelo consegue considerar de uma vez, incluindo a conversa, os documentos e as páginas web lidas. Quando a conversa fica longa demais, as partes mais antigas saem de vista.

Geração palavra por palavra

A cada etapa, o modelo calcula uma probabilidade para cada token possível e escolhe um, com uma dose controlada de aleatoriedade. Por isso a mesma pergunta pode receber respostas um pouco diferentes, e por isso o ChatGPT escreve com fluência mesmo quando erra: ele busca uma continuação provável, sem conferir os fatos numa fonte.

Como o ChatGPT busca na web e cita fontes?

Um modelo só conhece seus dados de treinamento, até uma data de corte. Para responder sobre notícias, preços ou produtos, o ChatGPT pode fazer uma busca na web. A OpenAI anunciou esse recurso como ChatGPT search em outubro de 2024. O assistente reescreve sua pergunta em uma ou várias consultas, obtém resultados de provedores de busca e do próprio rastreador, lê as páginas e escreve uma resposta com links para as fontes.

Esse método se chama geração aumentada por recuperação (RAG): o modelo gera texto com base em documentos que acabou de recuperar. A OpenAI documenta seus rastreadores na plataforma para desenvolvedores: OAI-SearchBot para a busca, GPTBot para o treinamento e ChatGPT-User para páginas abertas a pedido de um usuário. Segundo a OpenAI, sites que bloqueiam o OAI-SearchBot no robots.txt não aparecem nas respostas do ChatGPT search.

Quais são os limites do ChatGPT?

• Alucinações: pode afirmar com confiança fatos falsos, citações inventadas ou fontes inexistentes, porque prevê texto plausível.
• Data de corte: sem busca na web, desconhece tudo o que veio depois dos dados de treinamento.
• Limites de contexto: documentos ou conversas muito longos ultrapassam o que ele consegue considerar de uma vez.
• Sensibilidade à formulação: um pedido um pouco diferente pode gerar outra resposta ou outra lista de marcas recomendadas.
• Seleção de fontes: quando busca, lê só um punhado de páginas, então estar entre elas faz diferença.

O que isso significa para ser citado pelo ChatGPT?

Entender esse funcionamento dá uma lista de verificação clara para qualquer marca que queira aparecer nas respostas do ChatGPT:

1. Deixar os rastreadores entrarem: permita o OAI-SearchBot no robots.txt e entregue o conteúdo em HTML que funcione sem JavaScript pesado.
2. Ranquear na busca tradicional: o ChatGPT search parte de resultados de busca, então páginas bem posicionadas nas consultas subjacentes têm mais chance de ser lidas.
3. Escrever trechos fáceis de extrair: uma resposta direta sob cada título, parágrafos curtos e autônomos, definições, tabelas e números com fonte.
4. Estar onde ele lê: avaliações, comparativos, fóruns, mídia e Wikipédia moldam o que o modelo diz da sua marca, tanto nos dados de treinamento quanto na busca ao vivo.
5. Manter a coerência: o mesmo nome, a mesma descrição e os mesmos fatos no seu site e nos perfis externos ajudam o modelo a identificar sua marca como uma única entidade.
6. Medir: faça as perguntas dos seus clientes e veja se você é citado. O verificador de visibilidade no ChatGPT gratuito dá uma primeira resposta em um minuto.

O ChatGPT prevê texto a partir do que aprendeu e, nas perguntas recentes, das poucas páginas web que escolhe ler: as marcas que ele cita são aquelas cujas páginas são fáceis de encontrar, fáceis de extrair e confirmadas por outras fontes. Para acompanhar sua presença no ChatGPT, no Gemini e no Claude ao longo do tempo e publicar conteúdos pensados para ser citados, a Sorank acompanha seus prompts e escreve artigos otimizados no autopilot, com 3 dias de teste grátis.