Bloqueada pelo robots.txt: o que significa este status do Search Console e como corrigir

O status bloqueada pelo robots.txt aparece no relatório de indexação de páginas do Google Search Console, entre os motivos pelos quais as páginas não são indexadas. A documentação do relatório de indexação de páginas resume-o numa linha: a página foi bloqueada pelo arquivo robots.txt do seu site. Por trás dessa linha há duas situações muito diferentes, um bloqueio saudável e um acidental, além de um primo confuso: «Indexada, mas bloqueada pelo robots.txt». Este guia mostra como distingui-las e corrigir cada uma sem quebrar mais nada. Se o arquivo é novidade para você, comece pela nossa definição de robots.txt.

O que significa «Bloqueada pelo robots.txt» no Search Console?

O arquivo robots.txt fica na raiz do host (exemplo.com/robots.txt) e diz aos rastreadores quais caminhos podem buscar. Quando o Googlebot encontra um URL, por um link ou um sitemap, consulta primeiro esse arquivo. Se uma regra Disallow corresponde ao caminho para o seu user agent, ele não busca a página. O Search Console lista então o URL em «Bloqueada pelo robots.txt».

Daí resultam duas consequências. O Google não vê o conteúdo, o título, os links internos nem as meta tags da página. E como nunca lê a página, também não vê uma tag noindex. O status aparece como motivo de não indexação e, para a maioria dos sites, é apenas informativo: o próprio Google observa que URLs bloqueados pelo robots.txt provavelmente o foram de propósito.

O problema começa quando a lista contém páginas que você quer no Google: páginas de produto, artigos, categorias ou o site inteiro após uma migração. Nesse caso, o bloqueio é uma causa direta de um site que não aparece no Google, e um dos problemas técnicos mais rápidos de corrigir.

«Bloqueada pelo robots.txt» ou «Indexada, mas bloqueada»?

O segundo status parece contraditório e é o que mais preocupa os donos de sites. A introdução do Google ao robots.txt explica: o robots.txt não é um mecanismo para manter uma página fora do Google. Se outras páginas apontam para um URL proibido, o Google pode indexar o URL sem rastreá-lo. O resultado mostra então o endereço sem descrição, porque o Google nunca leu o texto.

O essencial é decidir primeiro o que você quer para cada URL: indexado ou não indexado. O robots.txt responde a outra pergunta (rastreado ou não rastreado), e misturar as duas é a origem da maioria dos erros.

Por que suas páginas estão bloqueadas pelo robots.txt?

A maioria dos bloqueios acidentais vem de poucas causas. Verifique-as nesta ordem:

• Uma regra de homologação levada para produção. Disallow: / protege um site de teste, vai junto no lançamento e bloqueia tudo.
• Uma configuração do CMS. O WordPress tem a opção «Evitar que mecanismos de busca indexem este site»; outras plataformas têm botões equivalentes que editam o robots.txt ou adicionam cabeçalhos.
• Uma regra mais ampla do que o previsto. Disallow: /p bloqueia /produtos/ e /precos/ além de /p/. As regras do robots.txt valem para o início do caminho.
• Curingas. * corresponde a qualquer sequência de caracteres e $ marca o fim de um URL. Disallow: /*? bloqueia todos os URLs com parâmetros, o que pode incluir páginas paginadas ou filtradas que você quer indexar.
• Recursos bloqueados. Bloquear /assets/ ou /wp-includes/ esconde o CSS e o JavaScript de que o Google precisa para renderizar a página, o que prejudica a compreensão do seu conteúdo.
• Uma migração. Os caminhos mudam, o robots.txt antigo fica ou a nova hospedagem serve o próprio arquivo padrão.
• O host errado. Cada subdomínio e protocolo tem o seu arquivo: as regras de www.exemplo.com não se aplicam a loja.exemplo.com.

Lembre-se de que o Google segue a regra mais específica (o caminho correspondente mais longo) e, quando um Allow e um Disallow são igualmente específicos, vence o menos restritivo. Um Allow: /blog/ pontual pode, portanto, reabrir uma pasta sob um bloqueio mais amplo.

Como corrigir «Bloqueada pelo robots.txt» passo a passo

1. Exporte os URLs afetados

No Google Search Console, abra Indexação, depois Páginas, e clique na linha «Bloqueada pelo robots.txt». Exporte a lista e ordene por pasta. Em geral, um padrão aparece em um minuto: um diretório, um parâmetro, um subdomínio.

2. Separe os bloqueios intencionais dos erros

Marque cada padrão como «manter bloqueado» ou «deve estar no Google». Carrinhos, checkout, contas de cliente, resultados de pesquisa interna e áreas administrativas vão para o primeiro grupo. Tudo o que responde a uma pesquisa, recebe links ou está no seu sitemap XML vai para o segundo. Um URL que está no sitemap e bloqueado ao mesmo tempo é uma contradição a resolver.

3. Encontre a regra correspondente

Abra a ferramenta de inspeção de URL com um URL de exemplo: ela indica se o rastreamento é permitido. Depois leia o arquivo publicado, ou cole o URL no nosso verificador de robots.txt gratuito para ver qual linha o bloqueia e para qual user agent.

4. Edite o arquivo

Remova ou restrinja a regra, ou adicione um Allow mais específico. Faça uma alteração mínima e teste-a tanto num URL que quer desbloquear como num que deve continuar bloqueado. Se o arquivo estiver confuso, crie um limpo com o nosso gerador de robots.txt e compare antes de publicar.

5. Faça o Google ler o novo arquivo

O Google geralmente mantém o robots.txt em cache por até 24 horas, segundo a sua especificação do robots.txt. Para acelerar, abra Configurações e depois o relatório de robots.txt do Search Console (disponível para propriedades de domínio) e solicite um novo rastreamento do arquivo. Depois, solicite a indexação dos URLs desbloqueados mais importantes na inspeção de URL.

6. Valide e acompanhe

Clique em «Validar correção» na página do problema. A validação pode levar de vários dias a algumas semanas, e os novos URLs são verificados à medida que o Google os rastreia de novo. O nosso guia sobre a indexação no Google explica o que acontece depois do rastreamento, quando o Google decide se uma página merece ficar.

Como corrigir «Indexada, mas bloqueada pelo robots.txt»

A correção depende do que você quer para a página:

1. Você quer a página no Google. Remova o bloqueio. O Google vai rastrear a página, ler o conteúdo e mostrar um resultado normal com título e descrição.
2. Você não quer a página no Google. Remova também o bloqueio e adicione <meta name="robots" content="noindex"> no head, ou um cabeçalho HTTP X-Robots-Tag: noindex para PDFs e outros arquivos. Depois que o Google rastrear a página de novo e a retirar, você pode bloqueá-la outra vez se o volume de rastreamento importar, o que a maioria dos sites nunca precisa. A nossa definição de noindex explica as opções.
3. A página não deveria ser pública. Proteja-a com senha ou remova-a (404 ou 410). Nem o robots.txt nem o noindex são medidas de segurança.

Numa navegação facetada com milhares de URLs de filtros, um bloqueio no robots.txt pode continuar sendo a ferramenta certa para poupar orçamento de rastreamento. O aviso «Indexada, mas bloqueada» em alguns desses URLs é então aceitável, desde que as versões canônicas das suas categorias sejam rastreáveis e indexadas.

Como verificar se a correção funcionou

Três sinais confirmam uma correção bem-sucedida. A inspeção do URL publicado mostra «Rastreamento permitido: Sim». O número de páginas bloqueadas no relatório de indexação de páginas cai nas semanas seguintes. E as páginas desbloqueadas começam a receber impressões no relatório de desempenho. Uma passagem rápida pelo nosso verificador de indexabilidade também apanha os outros bloqueios que costumam acompanhar erros de robots.txt: um noindex esquecido, uma canônica errada ou um redirecionamento.

O acompanhamento importa porque esses erros voltam. Uma atualização de tema, um plugin ou um script de implantação pode reescrever o robots.txt sem que ninguém perceba. Vigiar as páginas cujos cliques e impressões caem de repente é o alerta mais rápido.

O painel GEO e SEO da Sorank conecta-se ao Search Console e mostra essas páginas em alta e em baixa numa só vista, de modo que um bloqueio introduzido por uma implantação aparece como um grupo de URLs em queda, e não como uma perda lenta e inexplicável.

Robots.txt, rastreadores de IA e GEO

O robots.txt tem agora um segundo público: os rastreadores dos assistentes de IA. OpenAI, Anthropic, Perplexity e Google publicam os seus user agents (GPTBot e OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended), que respeitam o robots.txt. Uma regra pensada para um deles, ou um bloqueio geral User-agent: *, decide se o ChatGPT, o Claude ou o Perplexity podem ler as suas páginas quando pesquisam na web para montar uma resposta.

Vale o mesmo raciocínio do Google: decida bot a bot o que você quer. Bloquear os rastreadores de treino e permitir os de pesquisa é um meio-termo comum, e o nosso guia de robots.txt para rastreadores de IA lista os user agents e as regras de cada um. A entrada do glossário sobre rastreadores de IA explica o que cada bot faz.

Para ver o efeito dessas escolhas, acompanhe os prompts que importam para o seu negócio. O monitoramento de menções em IA da Sorank mostra se o ChatGPT, o Gemini ou o Claude citam o seu site, e quais concorrentes citam no seu lugar.

A regra a lembrar

O robots.txt decide o que os rastreadores podem ler; o noindex decide o que os resultados podem mostrar. Reserve os bloqueios para áreas sem valor de pesquisa, nunca bloqueie uma página que quer indexar ou desindexar e confira o relatório de indexação de páginas após cada migração ou implantação. A maioria dos problemas de «bloqueada pelo robots.txt» resolve-se em minutos depois de encontrada a regra responsável, e o painel de Search Console da Sorank ajuda você a detectar o próximo antes que ele custe tráfego.