¿Cómo funciona ChatGPT? Del entrenamiento a la búsqueda web y las fuentes citadas

Entender cómo funciona ChatGPT explica sus puntos fuertes y sus errores, y muestra qué hace que un sitio tenga opciones de ser citado en sus respuestas. OpenAI lanzó ChatGPT en noviembre de 2022; su nombre viene de GPT, Generative Pre-trained Transformer.

¿Qué modelo hay detrás de ChatGPT?

ChatGPT funciona con un gran modelo de lenguaje (LLM). Un LLM es un modelo estadístico con miles de millones de parámetros que ha aprendido, a partir de textos, las relaciones entre palabras, hechos y estilos. Guarda patrones aprendidos de esos textos y los usa para producir una continuación plausible de cualquier texto; las páginas en sí no se conservan como tales.

Su arquitectura es el transformer, presentado por investigadores de Google en el artículo Attention Is All You Need en 2017. Su mecanismo clave, la atención, permite al modelo ponderar cada palabra de la entrada frente a todas las demás, de modo que entiende que «él» se refiere a un nombre situado tres líneas antes.

¿Cómo se entrenó ChatGPT?

1. Preentrenamiento

El modelo lee un corpus de texto muy grande (páginas web públicas, libros, código, datos con licencia) y aprende una sola tarea: predecir el siguiente token. Repetida miles de millones de veces, esta tarea sencilla le obliga a aprender gramática, hechos, patrones de razonamiento y muchos idiomas. El resultado es un potente predictor de texto que todavía sigue mal las instrucciones.

2. Ajuste supervisado

Personas escriben ejemplos de buenas respuestas a peticiones y el modelo se entrena para imitarlas. Aprende el formato de un asistente útil: responder a la pregunta, estructurar la respuesta, pedir aclaraciones cuando hace falta.

3. Aprendizaje por refuerzo a partir de retroalimentación humana

Evaluadores comparan varias respuestas a la misma petición y las ordenan. Un modelo de recompensa aprende esas preferencias y después el modelo de lenguaje se optimiza para producir respuestas bien valoradas. OpenAI describió este método, llamado RLHF, en su artículo de investigación sobre InstructGPT. Es lo que hace que ChatGPT sea educado, estructurado y más prudente ante peticiones dañinas.

¿Qué ocurre cuando envía un mensaje?

Tokens y ventana de contexto

Un token es un fragmento de texto: en inglés, un token equivale de media a unos cuatro caracteres, o tres cuartos de palabra; en español, una palabra suele ocupar algo más. La ventana de contexto es el número de tokens que el modelo puede considerar a la vez, incluidos la conversación, los documentos y las páginas web que lee. Cuando una conversación se alarga demasiado, las partes más antiguas quedan fuera.

Generación palabra a palabra

En cada paso, el modelo calcula una probabilidad para cada token posible y elige uno, con una dosis controlada de azar. Por eso la misma pregunta puede recibir respuestas algo distintas, y por eso ChatGPT escribe con soltura incluso cuando se equivoca: busca una continuación probable, sin comprobar los hechos en una fuente.

¿Cómo busca ChatGPT en la web y cita sus fuentes?

Un modelo solo conoce sus datos de entrenamiento, hasta una fecha de corte. Para responder sobre actualidad, precios o productos, ChatGPT puede lanzar una búsqueda web. OpenAI anunció esta función como ChatGPT search en octubre de 2024. El asistente reformula su pregunta en una o varias consultas, obtiene resultados de proveedores de búsqueda y de su propio rastreador, lee las páginas y redacta una respuesta con enlaces a sus fuentes.

Este método se llama generación aumentada por recuperación (RAG): el modelo genera texto apoyado en documentos que acaba de recuperar. OpenAI documenta sus rastreadores en su plataforma para desarrolladores: OAI-SearchBot para la búsqueda, GPTBot para el entrenamiento y ChatGPT-User para las páginas abiertas a petición de un usuario. Según OpenAI, los sitios que bloquean OAI-SearchBot en su robots.txt no se muestran en las respuestas de ChatGPT search.

¿Cuáles son los límites de ChatGPT?

• Alucinaciones: puede afirmar con seguridad hechos falsos, citas inventadas o fuentes inexistentes, porque predice texto plausible.
• Fecha de corte: sin búsqueda web, desconoce todo lo posterior a sus datos de entrenamiento.
• Límites de contexto: los documentos o conversaciones muy largos superan lo que puede considerar a la vez.
• Sensibilidad a la formulación: una petición algo distinta puede dar otra respuesta u otra lista de marcas recomendadas.
• Selección de fuentes: cuando busca, solo lee un puñado de páginas, así que estar entre ellas cuenta.

¿Qué implica esto para ser citado por ChatGPT?

Entender este funcionamiento da una lista de control clara para cualquier marca que quiera aparecer en las respuestas de ChatGPT:

1. Dejar entrar a los rastreadores: permita OAI-SearchBot en el robots.txt y sirva el contenido en HTML que funcione sin JavaScript pesado.
2. Posicionar en la búsqueda clásica: ChatGPT search parte de resultados de búsqueda, así que las páginas bien posicionadas en las consultas subyacentes tienen más opciones de ser leídas.
3. Escribir pasajes fáciles de extraer: una respuesta directa bajo cada título, párrafos cortos y autónomos, definiciones, tablas y cifras con fuente.
4. Estar donde lee: reseñas, comparativas, foros, medios y Wikipedia moldean lo que el modelo dice de su marca, tanto en los datos de entrenamiento como en la búsqueda en directo.
5. Ser coherente: el mismo nombre, la misma descripción y los mismos datos en su sitio y en sus perfiles externos ayudan al modelo a identificar su marca como una sola entidad.
6. Medir: haga las preguntas de sus clientes y compruebe si aparece citado. El comprobador de visibilidad en ChatGPT gratuito da una primera respuesta en un minuto.

ChatGPT predice texto a partir de lo que aprendió y, para las preguntas recientes, de las pocas páginas web que decide leer: las marcas que cita son aquellas cuyas páginas son fáciles de encontrar, fáciles de extraer y están confirmadas por otras fuentes. Para seguir su presencia en ChatGPT, Gemini y Claude a lo largo del tiempo y publicar contenidos pensados para ser citados, Sorank sigue sus prompts y redacta artículos optimizados en autopilot, con 3 días de prueba gratis.