llms.txt: um arquivo-guia proposto para sites amigáveis às IAs

Por 20 anos, o robots.txt foi a forma de se comunicar com os rastreadores dos mecanismos de busca. Você o colocava na raiz do seu site para dizer ao Google e ao Bing quais páginas rastrear e quais ignorar. Hoje, assistentes de IA da OpenAI, da Anthropic, do Google e de outras empresas também leem a web, e têm necessidades diferentes. O llms.txt é uma proposta para se comunicar com eles.

A proposta do llms.txt, publicada em 2024 por Jeremy Howard, cofundador da Answer.AI, foi criada para ajudar os modelos de linguagem a entender do que trata o seu site e a encontrar as páginas mais úteis. Em vez de obrigar um sistema de IA a adivinhar se o seu site é uma loja virtual, um veículo de notícias ou um site de documentação técnica, o llms.txt diz isso explicitamente. Em princípio, essa clareza poderia ajudar as IAs a recuperar e citar o seu conteúdo com mais precisão. Continua sendo uma proposta, não um padrão adotado, e nenhum provedor de IA se comprometeu a usá-lo.

Problema llms.txt Resolve

Os sistemas de IA enfrentam um problema prático. Um modelo de linguagem só consegue ler uma quantidade limitada de texto de cada vez, e transformar um site inteiro, com menus, scripts e anúncios, em texto limpo e utilizável é difícil. Quando o ChatGPT ou o Gemini precisa responder a uma pergunta sobre o seu site ou produto, ele não sabe o que priorizar. Deve ler as páginas de produto ou os artigos do blog? Qual página da documentação é a de referência? Quais páginas são atemporais e quais estão desatualizadas? Sem orientação, um sistema de IA pode gastar o seu contexto limitado com páginas de pouco valor ou deixar passar conteúdo importante.

O robots.txt resolveu um problema diferente para os mecanismos de busca. Ele permitia bloquear URLs, indicar aos rastreadores onde está o seu sitemap e proteger o seu orçamento de rastreamento. Mas o robots.txt só controla o acesso; ele não explica o seu conteúdo. Os sistemas de IA têm necessidades diferentes. Eles se importam menos com a posição no ranking e mais em entender em quais temas você tem autoridade.

O llms.txt busca preencher essa lacuna. Ele dá aos modelos de linguagem um resumo curto do seu site e uma lista selecionada das suas páginas principais. Em vez de um sistema de IA ter que deduzir que o seu site trata de "soluções de faturamento SaaS", você pode dizer isso diretamente. O objetivo é tornar o seu melhor conteúdo mais fácil de encontrar e de usar. Ainda não há evidências de que ele melhore a indexação ou a probabilidade de ser citado nas respostas das IAs.

Estrutura Núcleo llms.txt e Sintaxe

O formato do llms.txt é Markdown simples, legível tanto por pessoas quanto por modelos de linguagem. O arquivo fica na raiz do seu domínio (www.example.com/llms.txt) e segue uma ordem fixa: um título, um resumo curto, detalhes opcionais e seções de links para as suas páginas principais. Veja um exemplo básico:

# Example SaaS Company

> Billing automation software for B2B SaaS companies, covering pricing strategies, metering, payment processing, and compliance.

Example SaaS Company helps finance teams automate invoicing. The links below point to our most useful pages.

## Docs

- [Getting started](https://www.example.com/docs/getting-started): Set up your first billing plan
- [API reference](https://www.example.com/docs/api): Endpoints and authentication

## Guides

- [SaaS pricing strategies](https://www.example.com/blog/saas-pricing): How to choose and test a pricing model

## Optional

- [About us](https://www.example.com/about)

A sintaxe é propositalmente simples, para que pessoas e modelos de linguagem consigam lê-la. Você diz quem é, resume o que o seu site cobre e aponta as páginas que mais importam. Diferentemente do robots.txt, o llms.txt não tem diretivas de permitir ou bloquear: é um guia, não uma regra de acesso, e nenhum grande provedor de IA se comprometeu a segui-lo.

Os elementos de um arquivo llms.txt

O título H1 (o único elemento obrigatório) é o nome do seu site ou projeto. Seja conciso e descritivo. "Example SaaS Company" é melhor do que "Bem-vindo ao nosso site."

O resumo em citação é o seu pitch de elevador sobre o que o site cobre. Seja específico sobre a sua expertise temática. Em vez de "Escrevemos sobre tecnologia", escreva "Publicamos guias técnicos para desenvolvedores Python, com foco em programação assíncrona, testes e deploy em produção." Essa especificidade ajuda as IAs a entender a sua autoridade.

Os detalhes opcionais são parágrafos ou listas, sem títulos, que acrescentam o contexto de que um modelo precisa para ler o resto do arquivo, como para quem o site é feito ou como interpretar as páginas linkadas.

As seções H2 agrupam os seus links por tema, como Docs, Produtos ou Guias. Cada seção é uma lista Markdown de links para as suas páginas principais. Escolha as páginas que você gostaria que um modelo lesse primeiro.

Os itens de link usam o formato [Nome da página](URL), opcionalmente seguido de dois-pontos e de uma breve descrição da página. Use a URL canônica de cada página, na versão que você preferir (com ou sem www).

A seção Optional é um H2 especial intitulado "Optional". Os links dentro dela podem ser ignorados quando é preciso um contexto mais curto, então é ali que ficam as páginas secundárias.

O que não existe no arquivo: o llms.txt não tem campos Allow, Disallow ou Crawl-Delay, nem campos de data. Ele não controla acesso nem rastreamento; essas regras continuam no robots.txt.

Indo além: versões Markdown das suas páginas

Além do arquivo básico, a proposta também sugere oferecer uma versão Markdown limpa de cada página útil para os modelos de linguagem, disponível na mesma URL com .md no final (por exemplo, www.example.com/docs/getting-started.md). Os links do seu llms.txt podem então apontar diretamente para essas versões:

- [Getting started](https://www.example.com/docs/getting-started.md): Set up your first billing plan

Alguns sites também publicam um arquivo llms-full.txt que reúne o texto completo das suas páginas principais em um único arquivo, para ferramentas que querem tudo em uma única requisição. É uma convenção usada por alguns sites de documentação, não uma parte obrigatória da proposta. Nos dois casos o objetivo é o mesmo: menos ruído para o modelo ler.

llms.txt vs. robots.txt: Diferenças-chave

O robots.txt é principalmente restritivo: você diz aos rastreadores onde eles NÃO podem ir. O llms.txt é principalmente informativo: você diz aos modelos de linguagem do que o seu site trata e quais páginas importam. O robots.txt usa um campo User-agent para direcionar rastreadores específicos, e os principais rastreadores o seguem; o llms.txt não tem esse campo, e os grandes provedores de IA não confirmaram que o leem.

O robots.txt afeta diretamente a visibilidade nas buscas. Se você proíbe os rastreadores de acessar uma página, ela em geral não será rastreada. O llms.txt não tem efeito no ranqueamento tradicional, e o seu efeito na visibilidade nas IAs não está comprovado. Se você o usar, mantenha os dois arquivos no seu site, cada um com o seu papel.

Na prática, use o robots.txt para decidir quais rastreadores, incluindo os de IA como GPTBot ou ClaudeBot, podem acessar quais partes do seu site. Use o llms.txt apenas para direcionar os modelos ao seu melhor conteúdo; ele não pode restringir nada. Por exemplo:

robots.txt: bloqueia /checkout e /admin para os rastreadores que você escolher (por exemplo, GPTBot)
llms.txt: linka apenas as páginas de documentação, os guias e as páginas de produto que você quer que os modelos leiam

Melhores Práticas Implementação

Crie o seu arquivo llms.txt e coloque-o em www.example.com/llms.txt. Use texto simples em UTF-8 com formatação Markdown. Garanta que o seu servidor web o entregue com o cabeçalho Content-Type text/plain ou text/markdown. Teste acessando a URL diretamente no navegador; você deve ver o texto bruto. Verifique se a estrutura segue a especificação do llms.txt: um título H1, um resumo em citação e seções H2 de links.

Escreva descrições claras e específicas. Não copie simplesmente o slogan da sua página inicial. Seja honesto sobre o que o seu site cobre. Se você publica conteúdo sobre 15 temas diferentes, liste-os. Se o seu foco é restrito, diga isso. Para um modelo, uma descrição honesta e específica é mais útil do que uma vaga. Inclua palavras-chave que descrevam o seu setor. Se você é um e-commerce, mencione "e-commerce, produtos, preços". Se é uma empresa SaaS, mencione "software, faturamento, integrações."

Atualize o arquivo sempre que as suas páginas principais mudarem. O formato não tem campo de data, então manter o arquivo em dia depende de você. Se o foco temático do seu site mudar de forma significativa, atualize o resumo e as seções. Defina um lembrete trimestral para revisar e atualizar o seu llms.txt, principalmente se você estiver criando novas categorias de conteúdo ou refinando o seu posicionamento.

Acompanhe a adoção do llms.txt. Algumas plataformas de documentação e ferramentas para desenvolvedores já publicam arquivos llms.txt, mas a OpenAI, a Anthropic e o Google DeepMind não se comprometeram a lê-lo ao rastrear a web. Adicionar um é um experimento de baixo custo, não uma garantia.

llms.txt e Preocupações Privacidade

Algumas pessoas se perguntam se o llms.txt pode controlar como as empresas de IA usam o seu conteúdo. Não pode. Empresas de IA e defensores da privacidade debatem a ética do rastreamento da web e do treinamento de modelos. Os padrões de busca e rastreamento evoluem há duas décadas para equilibrar o acesso e o respeito aos criadores de conteúdo. O llms.txt faz parte dessa conversa, mas foi criado para ajudar os modelos a encontrar o seu conteúdo, não para restringir como o usam.

Se você quer impedir que o seu conteúdo seja usado no treinamento de IA, o llms.txt é a ferramenta errada: ele não tem nenhuma diretiva para isso. Use, em vez disso, regras do robots.txt para os user agents de IA em questão, por exemplo:

User-agent: GPTBot
Disallow: /

O cumprimento do robots.txt também é voluntário, mas provedores de IA sérios publicam os nomes dos seus rastreadores e dizem respeitá-lo. Se você quer uma proteção mais forte, bloqueie os bots na configuração do seu servidor ou firewall. Por ora, nenhum dos dois arquivos é um mecanismo legal. Conforme a regulamentação avança e os padrões do setor se consolidam, mecanismos mais robustos podem surgir.

Medindo Impacto llms.txt

É difícil medir o ROI do llms.txt, já que nenhum provedor de IA disse usar o arquivo. Mas você pode acompanhar indicadores. Monitore as suas menções e citações no ChatGPT, no Gemini, no Claude e no Perplexity antes e depois de adicionar o arquivo. Se as citações crescerem, isso é uma correlação, não prova de que o arquivo foi a causa, porque muitos outros fatores influenciam as citações. Compare o crescimento das suas citações com o de concorrentes que ainda não implementaram o llms.txt.

Use ferramentas de rastreamento de menções em IA para quantificar a sua visibilidade nas IAs. Acompanhe quantas vezes o seu conteúdo é citado pelos principais assistentes de IA. Assim você pode avaliar por conta própria se adicionar o llms.txt muda alguma coisa para o seu site.

Futuro llms.txt

O robots.txt só foi formalizado como padrão da internet (RFC 9309) em 2022, depois de décadas de uso. O llms.txt ainda está em fase de proposta e pode ou não seguir o mesmo caminho. Sites sem ele não são penalizados hoje, e nenhuma grande plataforma de busca com IA disse que verifica o arquivo.

Como criar o arquivo leva minutos e não custa nada, adicionar um llms.txt é um experimento razoável e de baixo risco, principalmente para sites com muita documentação. Só mantenha expectativas realistas: é uma proposta, os benefícios não estão comprovados, e o seu tempo normalmente rende mais na qualidade do conteúdo, na estrutura e nos sinais em que as IAs realmente se baseiam.

Como adicionar um arquivo llms.txt no WordPress, Shopify, Webflow e outros CMS

O arquivo llms.txt precisa responder na raiz do seu domínio, em seudominio.com/llms.txt, como texto simples. O método depende do controle que o seu CMS dá sobre os arquivos da raiz:

• Sites com hospedagem própria e WordPress: envie o arquivo para a pasta raiz pelo gerenciador de arquivos da hospedagem ou por FTP. Alguns plugins de SEO para WordPress também podem gerá-lo e servi-lo.
• Plataformas hospedadas que bloqueiam a raiz (muitos criadores de sites e plataformas de e-commerce): use a configuração ou o app de llms.txt da plataforma, se houver; caso contrário, hospede o arquivo em outro lugar e crie um redirecionamento a partir de /llms.txt, depois confirme que a URL final ainda devolve texto simples.
• Sites estáticos e headless: coloque o llms.txt na pasta pública para ser publicado a cada deploy e gere-o de novo quando as páginas principais mudarem.

Escreva o conteúdo com o gerador de llms.txt gratuito e confira a URL, o tipo de conteúdo e a estrutura Markdown com o validador de llms.txt. O nosso guia de instalação passo a passo detalha cada caso.

Conclusão

O llms.txt é um arquivo-guia proposto e de baixo custo para sites que querem ajudar os modelos de linguagem a encontrar o seu melhor conteúdo. Ao colocar esse simples arquivo Markdown na raiz do seu domínio, você descreve o que o seu site cobre e linka as suas páginas principais. O formato é direto e a implementação leva minutos, mas nenhum provedor de IA se comprometeu a usá-lo, então trate-o como um experimento, não como uma exigência. Se você quer mesmo ser citado pelo ChatGPT, pelo Claude, pelo Gemini e pelo Perplexity, foque primeiro em conteúdo claro e bem estruturado e em sinais fortes em toda a web. Use as ferramentas de pesquisa e descoberta de palavras-chave do Sorank para identificar quais temas destacar no seu arquivo llms.txt.