llms.txt: un archivo guía propuesto para sitios amigables con la IA

Durante 20 años, robots.txt fue la forma de comunicarse con los rastreadores de los motores de búsqueda. Lo colocaba en la raíz de su sitio para decirles a Google y Bing qué páginas rastrear y cuáles omitir. Ahora los asistentes de IA de OpenAI, Anthropic, Google y otros también leen la web, y tienen necesidades distintas. llms.txt es una propuesta para comunicarse con ellos.

La propuesta llms.txt, publicada en 2024 por Jeremy Howard, cofundador de Answer.AI, está pensada para ayudar a los modelos de lenguaje a entender de qué trata su sitio y a encontrar sus páginas más útiles. En lugar de obligar a un sistema de IA a adivinar si su sitio es una tienda online, un medio de noticias o un sitio de documentación técnica, llms.txt se lo dice de forma explícita. En principio, esa claridad podría ayudar a las IA a recuperar y citar su contenido con más precisión. Sigue siendo una propuesta, no un estándar adoptado, y ningún proveedor de IA se ha comprometido a usarla.

El problema que llms.txt resuelve

Las IA tienen un problema práctico. Un modelo de lenguaje solo puede leer una cantidad limitada de texto a la vez, y convertir un sitio entero, con sus menús, scripts y anuncios, en texto limpio y utilizable es difícil. Cuando ChatGPT o Gemini necesita responder una pregunta sobre su sitio o su producto, no sabe qué priorizar. ¿Debería leer las páginas de producto o los artículos del blog? ¿Qué página de la documentación es la de referencia? ¿Qué páginas son atemporales y cuáles están desactualizadas? Sin una guía, un sistema de IA puede gastar su contexto limitado en páginas de poco valor o pasar por alto contenido importante.

robots.txt resolvió otro problema para los motores de búsqueda. Le permitía bloquear URL, indicar a los rastreadores dónde está su sitemap y proteger su presupuesto de rastreo. Pero robots.txt solo controla el acceso; no explica su contenido. Las IA tienen otras necesidades. Les importa menos la posición en el ranking y más entender en qué temas es una autoridad.

llms.txt busca cerrar esa brecha. Da a los modelos de lenguaje un resumen breve de su sitio y una lista seleccionada de sus páginas clave. En lugar de que un sistema de IA tenga que deducir que su sitio trata de "soluciones de facturación SaaS", puede decírselo directamente. El objetivo es que su mejor contenido sea más fácil de encontrar y de usar. Todavía no hay evidencia de que mejore la indexación ni la probabilidad de ser citado en las respuestas de las IA.

Estructura llms.txt central y sintaxis

El formato llms.txt es Markdown sencillo, legible tanto para personas como para modelos de lenguaje. El archivo vive en la raíz de su dominio (www.example.com/llms.txt) y sigue un orden fijo: un título, un resumen breve, detalles opcionales y secciones con enlaces a sus páginas clave. Este es un ejemplo básico:

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

La sintaxis es deliberadamente simple para que tanto las personas como los modelos de lenguaje puedan leerla. Indica quién es, resume lo que cubre su sitio y señala las páginas que más importan. A diferencia de robots.txt, llms.txt no contiene directivas de permitir o bloquear: es una guía, no una regla de acceso, y ningún gran proveedor de IA se ha comprometido a seguirla.

Los elementos de un archivo llms.txt

El título H1 (el único elemento obligatorio) es el nombre de su sitio o proyecto. Que sea conciso y descriptivo. "Example SaaS Company" es mejor que "Bienvenido a nuestro sitio."

El resumen en bloque de cita es su elevator pitch sobre lo que cubre el sitio. Sea específico con su experiencia temática. En lugar de "Escribimos sobre tecnología", escriba "Publicamos guías técnicas para desarrolladores de Python, centradas en programación asíncrona, pruebas y despliegue en producción." Esa especificidad ayuda a las IA a entender su autoridad.

Los detalles opcionales son párrafos o listas, sin encabezados, que aportan el contexto que un modelo necesita para leer el resto del archivo, como a quién va dirigido el sitio o cómo interpretar las páginas enlazadas.

Las secciones H2 agrupan sus enlaces por tema, como Docs, Productos o Guías. Cada sección es una lista Markdown de enlaces a sus páginas clave. Elija las páginas que querría que un modelo leyera primero.

Los elementos de enlace usan el formato [Nombre de la página](URL), seguido opcionalmente de dos puntos y una breve descripción de la página. Use la URL canónica de cada página, en la versión que prefiera (con o sin www).

La sección Optional es un H2 especial titulado "Optional". Los enlaces que contiene pueden omitirse cuando se necesita un contexto más corto, así que ahí van las páginas secundarias.

Lo que no lleva el archivo: llms.txt no tiene campos Allow, Disallow ni Crawl-Delay, ni campos de fecha. No controla el acceso ni el rastreo; esas reglas se quedan en robots.txt.

Ir más allá: versiones Markdown de sus páginas

Además del archivo básico, la propuesta sugiere ofrecer una versión Markdown limpia de cada página útil para los modelos de lenguaje, disponible en la misma URL con .md añadido (por ejemplo, www.example.com/docs/getting-started.md). Los enlaces de su llms.txt pueden apuntar directamente a esas versiones:

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

Algunos sitios publican además un archivo llms-full.txt que reúne el texto completo de sus páginas clave en un solo archivo, para las herramientas que quieren todo en una sola petición. Es una convención que usan algunos sitios de documentación, no una parte obligatoria de la propuesta. En ambos casos el objetivo es el mismo: menos ruido para un modelo.

llms.txt vs. robots.txt: Diferencias clave

robots.txt es sobre todo restrictivo: les dice a los rastreadores adónde NO pueden ir. llms.txt es sobre todo informativo: les dice a los modelos de lenguaje de qué trata su sitio y qué páginas importan. robots.txt usa un campo User-agent para dirigirse a rastreadores concretos, y los grandes rastreadores lo siguen; llms.txt no tiene ese campo, y los grandes proveedores de IA no han confirmado que lo lean.

robots.txt afecta directamente a la visibilidad en las búsquedas. Si impide a los rastreadores el acceso a una página, por lo general no se rastreará. llms.txt no tiene efecto en el posicionamiento tradicional, y su efecto en la visibilidad en las IA no está demostrado. Si lo usa, mantenga ambos archivos en su sitio, cada uno con su función.

En la práctica, use robots.txt para decidir qué rastreadores, incluidos los de IA como GPTBot o ClaudeBot, pueden acceder a qué partes de su sitio. Use llms.txt solo para orientar a los modelos hacia su mejor contenido; no puede restringir nada. Por ejemplo:

robots.txt: bloquee /checkout y /admin para los rastreadores que elija (por ejemplo, GPTBot)
llms.txt: enlace solo las páginas de documentación, las guías y las páginas de producto que quiere que lean los modelos

Mejores prácticas de implementación

Cree su archivo llms.txt y colóquelo en www.example.com/llms.txt. Use texto plano UTF-8 con formato Markdown. Asegúrese de que su servidor web lo sirva con un encabezado Content-Type de text/plain o text/markdown. Pruébelo visitando la URL directamente en su navegador; debería ver el texto sin formato. Compruebe que la estructura sigue la especificación de llms.txt: un título H1, un resumen en bloque de cita y secciones H2 con enlaces.

Escriba descripciones claras y específicas. No copie sin más el eslogan de su página de inicio. Sea honesto sobre lo que cubre su sitio. Si publica contenido sobre 15 temas distintos, enumérelos. Si está muy enfocado, dilo. Para un modelo, una descripción honesta y específica es más útil que una vaga. Incluya palabras clave que describan su sector. Si es un comercio electrónico, mencione "comercio electrónico, productos, precios". Si es una empresa SaaS, mencione "software, facturación, integraciones."

Actualice el archivo cada vez que cambien sus páginas clave. El formato no tiene campo de fecha, así que mantenerlo al día depende de usted. Si el enfoque temático de su sitio cambia de forma significativa, actualice el resumen y las secciones. Fije un recordatorio trimestral para revisar y refrescar su llms.txt, sobre todo si crea nuevas categorías de contenido o afina su posicionamiento.

Siga la adopción de llms.txt. Algunas plataformas de documentación y herramientas para desarrolladores ya publican archivos llms.txt, pero OpenAI, Anthropic y Google DeepMind no se han comprometido a leerlo cuando rastrean la web. Añadir uno es un experimento de bajo coste, no una garantía.

llms.txt y preocupaciones de privacidad

Algunas personas se preguntan si llms.txt puede controlar cómo las empresas de IA usan su contenido. No puede. Las empresas de IA y los defensores de la privacidad debaten la ética del rastreo web y del entrenamiento de modelos. Los estándares de búsqueda y rastreo han evolucionado durante dos décadas para equilibrar el acceso con el respeto a los creadores de contenido. llms.txt forma parte de esta conversación, pero se diseñó para ayudar a los modelos a encontrar su contenido, no para restringir cómo lo usan.

Si quiere evitar que su contenido se use para entrenar IA, llms.txt no es la herramienta adecuada: no tiene ninguna directiva para eso. En su lugar, use reglas de robots.txt para los agentes de usuario de IA correspondientes, por ejemplo:

User-agent: GPTBot
Disallow: /

El cumplimiento de robots.txt también es voluntario, pero los proveedores de IA serios publican los nombres de sus rastreadores y dicen que lo respetan. Si quiere una protección más fuerte, bloquee los bots en la configuración de su servidor o de su cortafuegos. Por ahora, ninguno de los dos archivos es un mecanismo legal. A medida que se desarrolle la regulación y se consoliden los estándares del sector, podrían surgir mecanismos más robustos.

Midiendo impacto de llms.txt

Es difícil medir el ROI de llms.txt, ya que ningún proveedor de IA ha dicho que use el archivo. Pero puede seguir indicadores. Monitorice sus menciones y citas en ChatGPT, Gemini, Claude y Perplexity antes y después de añadir el archivo. Si ve que las citas crecen, eso es una correlación, no una prueba de que el archivo sea la causa, porque muchos otros factores influyen en las citas. Compare el crecimiento de sus citas con el de competidores que aún no han implementado llms.txt.

Use herramientas de seguimiento de menciones en IA para cuantificar su visibilidad en las IA. Siga cuántas veces los principales asistentes de IA citan su contenido. Así puede juzgar por usted mismo si añadir llms.txt cambia algo en su sitio.

El futuro de llms.txt

robots.txt no se formalizó como estándar de internet (RFC 9309) hasta 2022, tras décadas de uso. llms.txt sigue en fase de propuesta y puede seguir o no el mismo camino. Los sitios que no lo tienen no son penalizados hoy, y ninguna gran plataforma de búsqueda con IA ha dicho que compruebe este archivo.

Como crear el archivo lleva minutos y no cuesta nada, añadir un llms.txt es un experimento razonable y de bajo riesgo, sobre todo para sitios con mucha documentación. Eso sí, mantenga expectativas realistas: es una propuesta, sus beneficios no están demostrados, y normalmente su tiempo rinde más en la calidad del contenido, la estructura y las señales en las que las IA realmente se apoyan.

Cómo añadir un archivo llms.txt en WordPress, Shopify, Webflow y otros CMS

El archivo llms.txt debe responder en la raíz de su dominio, en sudominio.com/llms.txt, como texto plano. El método depende del control que su CMS le dé sobre los archivos raíz:

• Sitios autoalojados y WordPress: suba el archivo a la carpeta raíz con el gestor de archivos del hosting o por FTP. Algunos plugins SEO para WordPress también pueden generarlo y servirlo.
• Plataformas alojadas que bloquean la raíz (muchos creadores de sitios y plataformas de comercio electrónico): use el ajuste o la aplicación de llms.txt de la plataforma si existe; si no, aloje el archivo en otro lugar y añada una redirección desde /llms.txt, y compruebe que la URL final sigue devolviendo texto plano.
• Sitios estáticos y headless: coloque llms.txt en la carpeta pública para que se publique con cada despliegue y regénerelo cuando cambien sus páginas clave.

Redacte el contenido con el generador de llms.txt gratuito y verifique la URL, el tipo de contenido y la estructura Markdown con el validador de llms.txt. Nuestra guía de instalación paso a paso detalla cada caso.

Conclusión

llms.txt es un archivo guía propuesto y de bajo coste para los sitios que quieren ayudar a los modelos de lenguaje a encontrar su mejor contenido. Al colocar este sencillo archivo Markdown en la raíz de su dominio, describe lo que cubre su sitio y enlaza sus páginas clave. El formato es sencillo y la implementación lleva minutos, pero ningún proveedor de IA se ha comprometido a usarlo, así que trátelo como un experimento, no como un requisito. Si se toma en serio que le citen ChatGPT, Claude, Gemini y Perplexity, céntrese primero en contenido claro y bien estructurado y en señales sólidas en toda la web. Use las herramientas de investigación y descubrimiento de palabras clave de Sorank para identificar qué temas destacar en su archivo llms.txt.