Análise de logs para SEO: leia os logs do servidor e corrija o desperdício de rastreamento

Quiz rápido

O SEO é para você, e como começar?

Pergunta 1 de 425%

As pessoas buscam no Google o que você vende?

Sim, acho que simNão, é novo ou muito de nichoNão sei

O que um log do servidor registra e por que ele supera seus outros dados

Cada vez que algo solicita um arquivo ao seu servidor, ele grava uma linha no log de acesso. A maioria dos servidores usa um formato próximo ao "combined" do Apache. Uma requisição do Googlebot tem esta aparência:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Leia da esquerda para a direita: o endereço IP, a data e hora, o método HTTP e a URL, o código de status (200 aqui), o número de bytes enviados, o referer e o user agent. Ali estão todas as requisições, inclusive as que nunca aparecem como visualização de página na sua ferramenta de analytics: imagens, arquivos CSS, redirecionamentos e erros 404.

Cada uma das suas outras fontes de dados enxerga apenas uma parte. O relatório Estatísticas de rastreamento do Search Console é agregado e cobre apenas os rastreadores do Google. As ferramentas de analytics só registram visitantes cujo navegador executa o seu JavaScript. Um rastreador de sites como o Screaming Frog mostra o que ele consegue alcançar seguindo seus links, o que não é o mesmo que o Google decidiu solicitar. Só o log do servidor registra o que de fato aconteceu.

Por que a análise de logs importa: o orçamento de rastreamento em termos simples

O orçamento de rastreamento é o conjunto de URLs que o Google pode e quer rastrear no seu site. O Google descreve isso com dois fatores. O primeiro é o limite de capacidade de rastreamento: quantas conexões os rastreadores do Google conseguem manter abertas com o seu servidor sem sobrecarregá-lo. Esse limite sobe quando o site está saudável e cai quando as respostas ficam lentas ou devolvem erros 5xx ou 429. O segundo é a demanda de rastreamento, que depende do tamanho do site, da frequência com que o conteúdo muda, da qualidade e da popularidade das páginas.

O Google apresenta o tema como um guia avançado para sites grandes. Seus limites indicativos são sites com 1 milhão ou mais de páginas únicas cujo conteúdo muda cerca de uma vez por semana, e sites com 10000 ou mais páginas únicas cujo conteúdo muda todos os dias. Sites com muitas URLs no status "Descoberta, atualmente não indexada" também entram no escopo. Sites menores normalmente podem contar com um sitemap atualizado e verificações periódicas do relatório de indexação de páginas. Isso não torna os logs inúteis para eles. Quando algo está errado no rastreamento, o log é a forma mais rápida de ver exatamente onde.

Se o seu site está nessa faixa, a questão já não é se você deve ler os logs, mas com que frequência. Uma auditoria pontual mostra o desperdício de hoje. Uma exportação mensal mostra se suas correções mudaram o que o Googlebot gasta tempo rastreando. Para o vocabulário básico, o verbete do glossário sobre orçamento de rastreamento cobre o essencial, e o guia sobre Descoberta, atualmente não indexada explica o status que costuma disparar esse tipo de revisão.

O método, passo a passo

O fluxo abaixo funciona com qualquer servidor e qualquer ferramenta. As seções seguintes explicam cada etapa em detalhe e trazem os comandos que você pode executar hoje em um arquivo de log bruto.

Obtenha os logs da camada certa

Peça ao seu desenvolvedor ou ao provedor de hospedagem os logs de acesso brutos do servidor web (Apache, Nginx ou IIS). Confira três coisas antes de começar: o formato do log, o fuso horário e o período de retenção. Dependendo da configuração, logs antigos podem ser descartados após alguns dias ou semanas, então peça a exportação agora, não depois.

A camada importa mais do que as pessoas esperam. Se uma CDN responde a uma requisição a partir do cache, seu servidor de origem nunca a vê. O Googlebot pode rastrear uma URL que nunca aparece no log de origem, então uma exportação só da origem subestima a atividade de rastreamento em conteúdo em cache. Exporte também os logs da CDN e compare as duas fontes em algumas URLs antes de confiar em qualquer um dos totais.

Filtre e conte o Googlebot com alguns comandos

Em um log no formato combined, o código de status é o 9º campo e o caminho da URL é o 7º. Essas duas colunas respondem à maioria das primeiras perguntas. Este comando conta as requisições do Googlebot por código de status:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Este lista os 20 caminhos mais solicitados pelo Googlebot, sem a query string, para que as variações de filtro se agrupem:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

O primeiro comando lê o texto do user agent, que qualquer um pode falsificar. Trate a saída dele como uma lista de candidatos até concluir a próxima seção. Além disso, se o seu log usa um formato personalizado, os números dos campos mudam, então confira uma linha com os olhos antes de confiar nas colunas.

Verifique o Googlebot da forma como o Google descreve

O método oficial do Google para confirmar que um visitante é o Googlebot usa DNS. Faça uma consulta DNS reversa no endereço IP do seu log, confirme que o hostname termina em googlebot.com, google.com ou googleusercontent.com, e então faça uma consulta direta nesse hostname que deve devolver o IP original. A documentação do Google usa este exemplo, em que 66.249.66.1 resolve para crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

A checagem direta é o segundo comando, e ela deve devolver o mesmo IP:

host crawl-66-249-66-1.googlebot.com

Se você processa milhões de linhas, as consultas DNS ficam lentas. O Google também publica arquivos JSON com as faixas de IP de seus rastreadores, incluindo common-crawlers.json para o Googlebot. Comparar com essas faixas é mais rápido, e o guia oficial de verificação descreve os dois métodos no guia do Google para verificar o Googlebot.

Agrupe, meça e leia os resultados

Contagens brutas por URL são difíceis de usar. Agrupe primeiro as URLs por template, porque uma correção geralmente se aplica a um template, não a uma página isolada. Depois meça quatro coisas em cada grupo. Quantos acessos do Googlebot ele recebe em relação à sua importância para o negócio. A distribuição dos códigos de status. Quão rápido as páginas novas recebem o primeiro acesso após a publicação. E se os acessos se concentram nas páginas que você quer ranquear.

Leia os resultados como um padrão, não como um número isolado. Se a maioria dos acessos do Googlebot cai em URLs de filtro e só alguns em páginas de produto, o orçamento de rastreamento está vazando, e o problema provavelmente está nos links internos ou no tratamento de parâmetros, não nas páginas de produto. A próxima seção lista os sinais a procurar.

Os sete sinais escondidos nos logs

Depois que as linhas do Googlebot estão verificadas e agrupadas, sete sinais explicam a maioria dos problemas de rastreamento. A tabela indica o padrão a procurar e a correção habitual. Cada correção é uma mudança no site, então confirme-a na exportação seguinte.

Sinal	O que os logs mostram	O que fazer
Desperdício de rastreamento	Acessos do Googlebot em filtros, ordenações, busca interna e URLs de sessão	Consolidar com canonical, remover os links internos para essas URLs e bloquear no robots.txt as variações sem utilidade que não puderem ser consolidadas
Redirecionamentos	Acessos a respostas 301 ou 302 e cadeias de dois ou mais saltos	Apontar o link direto para a URL final. O guia 301 vs 302 ajuda a escolher o tipo certo de redirecionamento
Erros	Acessos repetidos a 404 ou 410 e picos de respostas 5xx	Restaurar ou redirecionar as páginas que ainda importam e corrigir erros do servidor, porque respostas 5xx reduzem quanto o Google rastreia
Rastreamentos ausentes	URLs importantes sem nenhum acesso do Googlebot no período	Verificar links internos, entradas do sitemap e regras do robots.txt que possam manter os rastreadores afastados
Duplicatas	O mesmo conteúdo acessado por várias URLs, com barras finais, letras maiúsculas ou parâmetros	Escolher uma URL canônica e linkar para ela em todos os lugares
Tempo até o primeiro rastreamento	Tempo entre a publicação e o primeiro acesso do Googlebot a uma página nova	Linkar as páginas novas a partir de páginas já rastreadas com frequência e manter o sitemap limpo
Tempo de resposta	Respostas lentas nos templates que o Googlebot mais acessa	Acelerar esses templates primeiro, já que o Google diz que respostas lentas o levam a rastrear menos

A linha de "rastreamentos ausentes" é a que as pessoas pulam, e muitas vezes é a mais cara. Uma página que você nunca vê no log pode não ranquear nada, mesmo que o conteúdo seja excelente. Se uma URL está no sitemap mas nunca aparece nos logs, a página provavelmente só é acessível por um caminho que os rastreadores não seguem. O guia sobre Rastreada, atualmente não indexada cobre o outro lado dessa situação, quando o Googlebot passa, mas ainda não indexa.

Três formas de fazer a análise, comparadas

Você pode fazer a análise de logs com scripts, com um aplicativo de desktop ou com uma plataforma. Cada uma serve a um volume e a uma equipe diferentes. A escolha depende menos do tamanho do site do que de com que frequência você precisa da resposta e de quem vai lê-la.

Linha de comando: grep, awk e Python

Princípio: você analisa os arquivos brutos com scripts e grava os resultados em um arquivo ou planilha. Quando usar: verificações pontuais, sites pequenos ou um desenvolvedor que quer controle total. Vantagens: é gratuito, você vê cada linha e pode automatizar com uma tarefa agendada. Limites: dá trabalho escrever e manter, roda na velocidade da sua máquina, não tem gráficos e você mesmo precisa verificar os bots.

Exemplo: os comandos da seção do método, executados uma vez por mês sobre a mesma exportação, dão a distribuição dos códigos de status e os principais caminhos do Googlebot. Um script curto em Python pode fazer o mesmo e incluir a checagem DNS, que é mais lenta, mas mais exata.

Ferramenta de desktop: Screaming Frog Log File Analyser

Princípio: você importa os logs brutos para um projeto no desktop, a ferramenta agrupa os bots, verifica a identidade deles e desenha os gráficos. Quando usar: um consultor ou um analista interno trabalhando em um site com dezenas de milhares de URLs. Vantagens: lê logs do Apache, IIS e Nginx no formato W3C Extended, verifica os bots de buscadores e sinaliza páginas grandes ou lentas. Limites: a versão gratuita é limitada, e o volume de dados que você pode carregar depende do seu disco.

Leia a página do Log File Analyser do Screaming Frog antes de comprar. Para um passo a passo completo do crawler que se combina com esta ferramenta, veja nosso guia do Screaming Frog SEO Spider. O analisador de logs faz uma coisa que o crawler não consegue: mostra o que os bots solicitaram no mundo real, e não o que os seus links sugerem.

Plataforma: monitoramento contínuo de logs

Princípio: a plataforma recebe seus logs em uma agenda, muitas vezes da CDN ou do servidor, e cruza esses dados com um rastreamento do seu site e com dados de indexação. Quando usar: grandes e-commerces ou equipes corporativas que monitoram o rastreamento toda semana em vários mercados. Vantagens: escala para logs muito grandes, mantém histórico e permite que várias equipes compartilhem painéis. Limites: custa mais, leva tempo para ser implantada, e o vínculo com o fornecedor é real, então verifique como você pode exportar seus dados antes de se comprometer. Entre os fornecedores dessa categoria estão Oncrawl e Botify, e vale perguntar a cada um como ele verifica os bots.

Critério	Linha de comando	Ferramenta de desktop	Plataforma
Custo	Gratuito	Gratuita até 1000 eventos de log, £99 por ano para a licença completa	Assinatura, preço conforme o volume
Configuração	Você escreve e mantém os scripts	Instalar, importar, iniciar	Conectores e onboarding
Volume	Limitado pela sua máquina	Limitado pelo disco e pela licença	Feita para logs muito grandes
Verificação de bots	Manual, com checagem DNS ou de faixas de IP	Integrada	Pergunte ao fornecedor
Ideal para	Verificações pontuais e sites pequenos	Consultores e sites de porte médio	Equipes corporativas e de e-commerce com monitoramento semanal

O relatório Estatísticas de rastreamento do Google: útil, mas não suficiente

Antes de exportar qualquer log, abra o relatório Estatísticas de rastreamento no Search Console. Ele mostra o total de requisições de rastreamento, o volume total baixado, o tempo médio de resposta, as respostas agrupadas por tipo, os tipos de arquivo, a finalidade do rastreamento e o tipo de Googlebot que fez cada requisição. Para uma verificação de tendência, é a visão mais rápida que você tem, e o tutorial do Google Search Console explica onde encontrá-lo.

Suas limitações explicam por que os logs continuam importantes. O relatório só está disponível para propriedades de domínio e propriedades de prefixo de URL no nível raiz. Ele cobre apenas os rastreadores do Google, então GPTBot, ClaudeBot e os demais ficam de fora. Ele agrupa os dados em vez de listar cada URL, então pode dizer que as requisições de rastreamento caíram, mas não quais templates perderam. Use-o para perceber que algo mudou e os logs para descobrir o quê.

A ajuda do Google sobre Estatísticas de rastreamento descreve cada agrupamento. Quando o gráfico e a sua exportação de logs não batem, não confie em nenhum dos dois até ter checado a janela de tempo e a etapa de verificação. A maioria dessas divergências vem de uma janela diferente, de uma CDN que responde pelo cache ou de uma contagem de bots que inclui requisições não verificadas.

Corrija o desperdício de rastreamento assim que o identificar

As correções decorrem dos sinais. A maioria se resume a três movimentos: parar de mandar os rastreadores para páginas que não importam, levá-los direto à URL final quando uma página foi movida e tornar mais rápidas as páginas que importam.

Navegação facetada. Filtros e ordenações geram muitas URLs com conteúdo quase idêntico. Consolide-as com canonical sempre que possível, e remova os links internos para variações sem valor de busca. Quando uma variação não pode ser consolidada e precisa ficar fora do rastreamento, bloqueie-a no robots.txt. A orientação do Google é específica: não use noindex para isso, porque o Google ainda precisa solicitar a página antes de conseguir ver a tag. Este é o tipo de regra que vale testar:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Mantenha a mudança no robots.txt em sua justa medida. O Google diz que bloquear URLs não libera orçamento de rastreamento para as suas outras páginas, a menos que o site já esteja no limite de capacidade. Bloquear serve para URLs sem valor, não para direcionar o orçamento às suas melhores páginas. Nosso verbete do glossário sobre robots.txt explica como o arquivo é lido.

Cadeias de redirecionamento. Quando uma página foi movida duas vezes, o rastreador percorre os dois redirecionamentos a cada visita. Atualize os links internos para que apontem para a URL final e mantenha os redirecionamentos antigos para os links externos. A escolha entre redirecionamento permanente e temporário importa pelo mesmo motivo, e o guia 301 vs 302 detalha isso.

Páginas removidas. Retorne um 404 ou um 410 para páginas removidas definitivamente. O Google diz que os soft 404 continuam sendo rastreados e desperdiçam orçamento, então uma mensagem de "página não encontrada" servida com status 200 é pior do que um 404 real.

Tempo de resposta e cache. O Google diz que respostas lentas ou com falha fazem com que ele rastreie menos. Suporte respostas 304 (Not Modified), para que páginas inalteradas possam ser servidas pelo cache. Depois, observe os templates que mais recebem acessos do Googlebot e deixe essas respostas mais rápidas primeiro.

Os erros que mais custam caro, e como evitá-los

A maioria das análises de logs que dão errado comete um de um pequeno conjunto de erros. Cada um dos descritos abaixo tem um sintoma que você consegue identificar nos dados e uma correção que pode aplicar na mesma semana.

Confiar na string do user agent

O que é: contar como rastreamento do Google toda requisição que diz "Googlebot". Como identificar: acessos do Googlebot vindos de endereços IP que não resolvem para os hostnames do Google, ou um salto repentino a partir de um único endereço. Como corrigir: execute a verificação da seção do método antes de contar qualquer coisa, e mantenha os acessos não verificados em um grupo separado para continuar vendo a atividade dos scrapers.

Ler apenas as respostas 200

O que é: focar nas páginas que retornam 200 e ignorar o resto. Como identificar: seu relatório não tem uma seção de 3xx, 4xx ou 5xx, ou a distribuição dos códigos de status nunca é discutida. Como corrigir: comece sempre pela distribuição dos códigos de status. Um aumento de acessos 404 pode revelar um link interno quebrado, e um aumento de acessos 5xx pode revelar um problema no servidor que desacelera todo o rastreamento.

Bloquear uma página que você quer desindexar

O que é: adicionar uma regra de robots.txt a uma página que também tem uma tag noindex. Como identificar: a página continua no índice, e o log não mostra acessos do Googlebot, porque o rastreador está impedido de solicitá-la. Como corrigir: remova o bloqueio para que o Google consiga ler a tag noindex, espere a página sair do índice e depois restaure o bloqueio, se ainda precisar dele. O guia sobre Bloqueada pelo robots.txt explica o status do Search Console que aparece nesse caso.

Comparar janelas de duração diferente

O que é: comparar uma exportação de 3 dias antes de uma correção com uma de 30 dias depois. Como identificar: os totais mudam muito, mas a proporção por template não. Como corrigir: compare o mesmo número de dias, na mesma época do ano quando possível, e compare proporções em vez de totais brutos quando o volume mudar.

Medir acessos em vez de valor

O que é: comemorar um aumento de acessos do Googlebot sem verificar se esses acessos chegam a páginas indexadas. Como identificar: os acessos se concentram em URLs não indexadas ou que nunca geram tráfego. Como corrigir: cruze seus grupos de logs com o status de indexação da ferramenta de Inspeção de URL do Search Console, e considere uma correção um sucesso apenas quando o rastreamento se deslocar para as páginas que importam.

Onde os bots de IA aparecem nos mesmos logs

Os mesmos logs mostram o que os rastreadores de IA fazem no seu site, e o método é o mesmo: agrupe, verifique onde o fornecedor oferecer uma forma de fazer isso e leia os códigos de status. Nosso guia sobre logs de rastreadores de IA cobre quais bots procurar e como eles diferem do Googlebot. Este artigo aprofunda o método do Googlebot, e a seção de IA abaixo mostra como juntar os dois em um só relatório.

Tipo de bot	Exemplos	O que verificar nos logs	Onde saber mais
Rastreador de busca	Googlebot	Acessos por template, distribuição dos códigos de status, tempo até o primeiro rastreamento de páginas novas	As seções anteriores deste artigo
Rastreador de treinamento	GPTBot, ClaudeBot, CCBot	Se solicitam seu conteúdo e se respeitam seu robots.txt	Robots.txt para rastreadores de IA
Rastreador de recuperação	ChatGPT-User, PerplexityBot	Rajadas curtas de visitas ligadas a perguntas de usuários e as páginas que elas alcançam	Logs de rastreadores de IA

A separação entre treinamento e recuperação vem da forma como os rastreadores de IA são documentados. Os rastreadores de treinamento coletam conteúdo para os modelos, e os de recuperação buscam páginas quando um usuário faz uma pergunta. Seu relatório deve manter os dois separados, porque uma decisão de política para um não se aplica automaticamente ao outro.

Se você quiser ver o tráfego do Google e o de IA lado a lado enquanto aplica essas correções, o painel GEO / SEO da Sorank mostra os dois em uma única visão. Use-o para verificar se as mudanças que você faz a partir dos logs movem o tráfego, e não apenas as contagens de rastreamento.