A privacidade é importante para nós, então você tem a opção de desativar certos tipos de armazenamento que podem não ser necessários para o funcionamento básico do site. O bloqueio de categorias pode afetar sua experiência no site. Mais informações
Robots.txt para rastreadores de IA: os user agents da OpenAI, Anthropic, Perplexity e Google, o que cada um faz e uma configuração que mantém você citável.
Resumir este artigo com IA
O seu robots.txt para rastreadores de IA virou uma decisão de negócio, não só um arquivo técnico. O mesmo arquivo que antes só falava com o Googlebot agora decide se ChatGPT, Claude, Perplexity e Gemini podem ler, citar e linkar as suas páginas. O formato não mudou: continua sendo o protocolo de exclusão de robôs padronizado como RFC 9309, com linhas User-agent, Allow e Disallow. O que mudou foi o número de agentes e o fato de um mesmo fornecedor operar vários bots com finalidades diferentes.
A maioria dos fornecedores de IA já separa treinamento, indexação para busca e acesso a pedido do usuário em user agents diferentes. A tabela resume os principais conforme a documentação de cada fornecedor.
| Fornecedor | User agent | Finalidade | Efeito do bloqueio |
|---|---|---|---|
| OpenAI | GPTBot | Dados de treinamento dos modelos da OpenAI | Conteúdo não usado em treinamentos futuros |
| OpenAI | OAI-SearchBot | Indexação para o ChatGPT search | As páginas podem não aparecer como fontes no ChatGPT search |
| OpenAI | ChatGPT-User | Páginas abertas quando um usuário pede ao ChatGPT | O ChatGPT não consegue abrir a sua página a pedido |
| Anthropic | ClaudeBot | Dados de treinamento dos modelos Claude | Conteúdo não usado em treinamentos futuros |
| Anthropic | Claude-SearchBot, Claude-User | Qualidade da busca e acessos a pedido | Menos visibilidade nas respostas do Claude com busca na web |
| Perplexity | PerplexityBot, Perplexity-User | Índice de busca e acessos a pedido | Menor chance de ser citado no Perplexity |
| Googlebot | Pesquisa Google, incluindo AI Overviews e Modo IA | Saída completa da Pesquisa | |
| Google-Extended (token) | Uso do conteúdo no Gemini e embasamento fora da Pesquisa | Nenhum efeito no ranking | |
| Apple | Applebot-Extended (token) | Uso do conteúdo nos modelos generativos da Apple | O Applebot continua rastreando para Siri e Spotlight |
| Common Crawl | CCBot | Arquivo aberto da web reutilizado por muitos conjuntos de dados de IA | Conteúdo ausente das próximas coletas do arquivo |
Fontes: documentação dos rastreadores da OpenAI e lista de rastreadores comuns do Google. Os nomes mudam de vez em quando: confira a página de cada fornecedor antes de editar o arquivo. Os verbetes do nosso glossário sobre rastreadores de IA e rastreadores da OpenAI trazem as definições curtas.
Para a maioria das empresas que buscam clientes, não: bloqueie o treinamento se precisar e mantenha os de busca abertos. A decisão depende do que você vende:
Grupos explícitos por user agent, com os bots de busca liberados e uma escolha clara para os de treinamento. Exemplo para uma empresa que quer visibilidade na IA sem alimentar o treinamento:
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xmlRemova o segundo grupo se você aceita que o conteúdo seja usado no treinamento. O nosso gerador de robots.txt gratuito monta o arquivo, e o verificador de robots.txt mostra quais agentes um arquivo publicado realmente libera.
O mais comum é uma regra genérica copiada de um fórum. Erros frequentes:
Não, ele só abre a porta. Quando os rastreadores conseguem ler as páginas, a citação depende de respostas claras, estrutura fácil de extrair e confirmação de outras fontes. Dados estruturados pensados para a busca com IA, seções que respondem logo de início e um arquivo llms.txt opcional ajudam no passo seguinte.
Trate cada rastreador de IA como uma decisão separada: libere os bots de busca e de acesso, escolha conscientemente para o treinamento e confira se o servidor aplica a mesma política. Depois meça se a porta aberta vira citação. O Sorank acompanha a sua marca no ChatGPT, no Claude e no Gemini toda semana e publica conteúdo estruturado para ser citado: comece com 3 dias grátis.
Não sozinho. O GPTBot coleta dados para treinar os modelos da OpenAI. O ChatGPT search usa outro rastreador, o OAI-SearchBot, e o ChatGPT-User para páginas que um usuário pede para abrir. Bloquear só o GPTBot limita o uso no treinamento e mantém as suas páginas aptas a aparecer e receber link no ChatGPT search.
Não. O Google-Extended é um token do robots.txt, não um rastreador separado, e o Google afirma que ele não afeta a inclusão nem o ranking na Pesquisa. Os AI Overviews e o Modo IA fazem parte da Pesquisa e usam o Googlebot. O Google-Extended controla o uso do conteúdo nos modelos Gemini e no embasamento fora da Pesquisa.
Os grandes fornecedores documentam os seus user agents e afirmam que os rastreadores seguem o robots.txt, com nuances para acessos iniciados diretamente por um usuário. Alguns bots menos transparentes foram apontados por ignorá-lo. Para um bloqueio rigoroso, combine o robots.txt com regras de servidor ou firewall baseadas em user agent e nas faixas de IP publicadas.
Gerador llms.txt
Extrator de URL
Conversor de Página Web para Markdown
Verificador de Sitemap XML
Sensor de volatilidade SERP
Verificador de tamanho de página
Contador de palavras
Gerador de slugGerador de Schema MarkupGerador de Robots.txt
Pré-visualização Open GraphGerador de etiquetas meta
Compressor de imagensGerador de faviconAuditoria SEO On-PageFerramenta de análise de backlinksFerramenta de pesquisa de palavras-chaveVerificador de autoridade de domínioELES EXPERIMENTARAM O SORANK ANTES DE VOCÊ
“Testei o Sorank no site real de um cliente e é uma loucura. Faz tudo aquilo que uma agência cobra 1.500 € por mês. Agora vai para produção nesse cliente.”
Guillaume Guersanguersanguillaume.com“Somos uma agência de publicidade e queríamos colocar nosso SEO nos trilhos de uma vez por todas. A Sorank nos deu uma visão clara do nosso site, ajudou-nos a priorizar as otimizações e estruturar corretamente nosso conteúdo. A ferramenta é fácil de usar, bem projetada para uma equipe e muito prática para centralizar o acompanhamento sem ter que fazer malabarismos entre várias plataformas. Uma base muito sólida para recomeçar do zero com nosso SEO.”
Gaspard MadouiAgência de Publicidade
“Eu só deixei o software da Sorank fazer o trabalho dele, e agora meu DR é 25 e minha página está ranqueando melhor.”
Lucas FlandrePodcast Host“Me especializei em GEO graças à Sorank. O GEO Leaderboard me permite mostrar aos meus clientes o seu posicionamento em relação aos concorrentes no ChatGPT. É um verdadeiro diferencial comercial.”
MélanieFreelancer SEO“Excelente serviço, funciona bem para o nosso site e nos ajuda a entender como melhorá-lo para nos posicionarmos melhor no Google e em outros lugares. Parabéns, continuem assim, eu recomendo.”
Hugo T.Comerciante de e-commerce
