Análisis de logs para SEO: lee los logs del servidor y corrige el desperdicio de rastreo

Quiz rápido

¿Es el SEO para ti y cómo empezar?

Pregunta 1 de 425%

¿La gente busca en Google lo que vendes?

Sí, creo que síNo, es nuevo o muy de nichoNo lo sé

Qué registra un log del servidor y por qué supera a tus otros datos

Cada vez que algo pide un archivo a tu servidor, este escribe una línea en su registro de acceso. La mayoría de servidores usan un formato parecido al «combined» de Apache. Una petición de Googlebot tiene este aspecto:

66.249.66.1 - - [13/Nov/2026:08:14:22 +0100] "GET /products/red-running-shoes HTTP/1.1" 200 18342 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Léela de izquierda a derecha: la dirección IP, la marca de tiempo, el método HTTP y la URL, el código de estado (200 aquí), el número de bytes enviados, el referrer y el user agent. Ahí aparece cada petición, incluidas las que nunca figuran como página vista en tu herramienta de analítica: imágenes, archivos CSS, redirecciones y errores 404.

Cada una de tus otras fuentes de datos ve solo una parte. El informe Estadísticas de rastreo de Search Console está agregado y solo cubre los rastreadores de Google. Las herramientas de analítica solo registran visitantes cuyo navegador ejecuta tu JavaScript. Un rastreador de sitios como Screaming Frog muestra lo que puede alcanzar siguiendo tus enlaces, lo que no es lo mismo que lo que Google decidió pedir. Solo el log del servidor registra lo que realmente ocurrió.

Por qué importa el análisis de logs: el presupuesto de rastreo explicado sin rodeos

El presupuesto de rastreo es el conjunto de URL que Google puede y quiere rastrear en tu sitio. Google lo describe con dos factores. El primero es el límite de capacidad de rastreo: cuántas conexiones pueden mantener abiertas los rastreadores de Google con tu servidor sin sobrecargarlo. Ese límite sube cuando tu sitio funciona bien y baja cuando las respuestas se ralentizan o devuelven errores 5xx o 429. El segundo es la demanda de rastreo, que depende del tamaño de tu sitio, de la frecuencia con que cambia su contenido, de su calidad y de la popularidad de sus páginas.

Google presenta el tema como una guía avanzada para sitios grandes. Sus umbrales orientativos son los sitios con 1 millón o más de páginas únicas cuyo contenido cambia aproximadamente una vez por semana, y los sitios con 10000 o más páginas únicas cuyo contenido cambia cada día. También entran en el alcance los sitios con muchas URL en el estado «Detectada, actualmente sin indexar». Los sitios pequeños pueden confiar normalmente en un sitemap actualizado y en revisiones periódicas del informe de indexación de páginas. Eso no hace que los logs sean inútiles para ellos. Cuando algo falla en el rastreo, el log es la forma más rápida de ver exactamente dónde.

Si tu sitio está en ese rango, la pregunta ya no es si debes leer los logs, sino con qué frecuencia. Una auditoría puntual muestra el desperdicio de hoy. Una exportación mensual muestra si tus correcciones cambiaron en qué invierte su tiempo Googlebot. Para el vocabulario básico, la entrada del glosario sobre el presupuesto de rastreo cubre lo esencial, y la guía sobre Detectada, actualmente sin indexar explica el estado que suele desencadenar este tipo de revisión.

El método, paso a paso

El flujo siguiente funciona con cualquier servidor y cualquier herramienta. Las secciones posteriores explican cada paso con detalle y dan los comandos que puedes ejecutar hoy sobre un archivo de log sin procesar.

Obtén los logs desde la capa correcta

Pide a tu desarrollador o a tu proveedor de hosting los logs de acceso sin procesar del servidor web (Apache, Nginx o IIS). Revisa tres cosas antes de empezar: el formato del log, la zona horaria y el periodo de retención. Según tu configuración, los logs antiguos pueden rotarse a los pocos días o semanas, así que pide la exportación ahora y no más tarde.

La capa importa más de lo que la gente espera. Si un CDN responde a una petición desde su caché, tu servidor de origen nunca la ve. Googlebot puede rastrear una URL que nunca aparece en el log de origen, así que una exportación solo del origen subestima la actividad de rastreo sobre contenido cacheado. Exporta también los logs del CDN y compara ambas fuentes en algunas URL antes de fiarte de cualquiera de los totales.

Filtra y cuenta Googlebot con unos pocos comandos

En un log en formato combined, el código de estado es el noveno campo y la ruta de la URL el séptimo. Esas dos columnas responden a la mayoría de las primeras preguntas. Este comando cuenta las peticiones de Googlebot por código de estado:

grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Este lista las 20 rutas que Googlebot pide con más frecuencia, sin la cadena de consulta, para que las variantes de filtros se agrupen:

grep "Googlebot" access.log | awk '{print $7}' | cut -d '?' -f1 | sort | uniq -c | sort -rn | head -20

El primer comando lee el texto del user agent, que cualquiera puede falsificar. Trata su salida como una lista de candidatos hasta que termines la sección siguiente. Además, si tu log usa un formato personalizado, los números de campo cambian, así que revisa una línea a ojo antes de confiar en las columnas.

Verifica a Googlebot como lo describe Google

El método propio de Google para confirmar que un visitante es Googlebot usa DNS. Haz una búsqueda DNS inversa de la dirección IP de tu log, comprueba que el nombre de host termina en googlebot.com, google.com o googleusercontent.com, y después haz una búsqueda directa de ese nombre que devuelva la IP original. La documentación de Google usa este ejemplo, donde 66.249.66.1 se resuelve como crawl-66-249-66-1.googlebot.com:

host 66.249.66.1

La comprobación directa es el segundo comando, y debe devolver la misma IP:

host crawl-66-249-66-1.googlebot.com

Si procesas millones de líneas, las búsquedas DNS se vuelven lentas. Google también publica archivos JSON con los rangos de IP de sus rastreadores, incluido common-crawlers.json para Googlebot. Compararlos con esos rangos es más rápido, y la guía oficial de verificación describe ambos métodos en la guía de Google para verificar Googlebot.

Agrupa, mide y lee los resultados

Los recuentos brutos por URL son difíciles de aprovechar. Agrupa primero las URL por plantilla, porque una corrección suele aplicarse a una plantilla y no a una sola página. Después mide cuatro cosas por cada grupo. Cuántas peticiones de Googlebot recibe en comparación con su importancia para el negocio. La mezcla de códigos de estado. Qué tan rápido reciben su primera visita las páginas nuevas tras publicarse. Y si las visitas se concentran en las páginas que quieres posicionar.

Lee los resultados como un patrón, no como una cifra aislada. Si la mayoría de las peticiones de Googlebot caen en URL de filtros y solo unas pocas en páginas de producto, el presupuesto de rastreo se está filtrando, y el problema probablemente está en los enlaces internos o en el manejo de parámetros, no en las páginas de producto. La sección siguiente enumera las señales que conviene buscar.

Las siete señales ocultas en los logs

Una vez verificadas y agrupadas las líneas de Googlebot, siete señales explican la mayoría de problemas de rastreo. La tabla indica el patrón que buscar y la corrección habitual. Cada corrección es un cambio en el sitio, así que confírmala en la siguiente exportación.

Señal	Lo que muestran los logs	Qué hacer
Desperdicio de rastreo	Visitas de Googlebot en filtros, órdenes de clasificación, búsqueda interna y URL de sesión	Consolidar con canonical, eliminar los enlaces internos a esas URL y bloquear en robots.txt las variantes inútiles que no se puedan consolidar
Redirecciones	Visitas a respuestas 301 o 302, y cadenas de dos o más saltos	Enlazar directamente a la URL final. La guía de 301 frente a 302 te ayuda a elegir el tipo de redirección correcto
Errores	Visitas repetidas a 404 o 410, y picos de respuestas 5xx	Restaurar o redirigir las páginas que aún importan, y corregir los errores del servidor, porque las respuestas 5xx reducen cuánto rastrea Google
Rastreos ausentes	URL importantes sin ninguna visita de Googlebot en el periodo	Revisar los enlaces internos, las entradas del sitemap y las reglas de robots.txt que podrían mantener alejados a los rastreadores
Duplicados	El mismo contenido visitado con varias URL, con barras finales, mayúsculas o parámetros	Elegir una URL canónica y enlazarla en todas partes
Tiempo hasta el primer rastreo	Tiempo entre la publicación y la primera visita de Googlebot a una página nueva	Enlazar las páginas nuevas desde páginas que ya se rastrean con frecuencia, y mantener limpio el sitemap
Tiempo de respuesta	Respuestas lentas en las plantillas que más visita Googlebot	Acelerar primero esas plantillas, ya que Google indica que las respuestas lentas hacen que rastree menos

La fila de «rastreos ausentes» es la que la gente se salta, y suele ser la más costosa. Una página que nunca aparece en el log puede no posicionar nada, aunque su contenido sea excelente. Si una URL está en tu sitemap pero nunca aparece en los logs, probablemente la página solo sea accesible por una ruta que los rastreadores no siguen. La guía sobre Rastreada, actualmente sin indexar cubre el otro lado de esta situación, cuando Googlebot sí visita pero aún no indexa.

Tres formas de hacer el análisis, comparadas

Puedes hacer el análisis de logs con scripts, con una aplicación de escritorio o con una plataforma. Cada una se adapta a un volumen y a un equipo distintos. La elección depende menos del tamaño del sitio que de con qué frecuencia necesitas la respuesta y de quién la va a leer.

Línea de comandos: grep, awk y Python

Principio: analizas los archivos sin procesar con scripts y escribes los resultados en un archivo o en una hoja de cálculo. Cuándo usarlo: comprobaciones puntuales, sitios pequeños o un desarrollador que quiere control total. Ventajas: es gratuito, ves cada línea y puedes automatizarlo con una tarea programada. Límites: lleva tiempo escribirlo y mantenerlo, va a la velocidad de tu máquina, no tiene gráficos y debes verificar los bots tú mismo.

Ejemplo: los comandos de la sección del método, ejecutados una vez al mes sobre la misma exportación, te dan la mezcla de códigos de estado y las rutas principales de Googlebot. Un pequeño script en Python puede hacer lo mismo y añadir la comprobación DNS, que es más lenta pero más exacta.

Herramienta de escritorio: Screaming Frog Log File Analyser

Principio: importas los logs sin procesar a un proyecto de escritorio, la herramienta agrupa los bots, comprueba su identidad y dibuja los gráficos. Cuándo usarlo: un consultor o un analista interno que trabaja en un sitio con decenas de miles de URL. Ventajas: lee logs de Apache, IIS y Nginx en formato W3C Extended, verifica los bots de los buscadores y señala páginas grandes o lentas. Límites: la versión gratuita tiene un tope, y la cantidad de datos que puedes cargar depende de tu disco duro.

Lee la página de Log File Analyser de Screaming Frog antes de comprar. Para un recorrido completo del rastreador que se complementa con esta herramienta, consulta nuestra guía de Screaming Frog SEO Spider. El analizador de logs hace algo que el rastreador no puede hacer: muestra lo que los bots pidieron en el mundo real, y no lo que sugieren tus enlaces.

Plataforma: monitorización continua de logs

Principio: la plataforma recibe tus logs de forma programada, a menudo desde el CDN o el servidor, y los cruza con un rastreo de tu sitio y con datos de indexación. Cuándo usarlo: grandes sitios de comercio electrónico o equipos empresariales que monitorizan el rastreo cada semana en varios mercados. Ventajas: escala a logs muy grandes, conserva el historial y permite que varios equipos compartan paneles. Límites: cuesta más, lleva tiempo ponerla en marcha, y el vínculo con el proveedor es real, así que revisa cómo puedes exportar tus datos antes de comprometerte. Entre los proveedores de esta categoría están Oncrawl y Botify, y conviene preguntar a cada uno cómo verifica los bots.

Criterio	Línea de comandos	Herramienta de escritorio	Plataforma
Coste	Gratuito	Gratuita hasta 1000 eventos de log, 99 £ al año para la licencia completa	Suscripción, precio según el volumen
Puesta en marcha	Escribes y mantienes los scripts	Instalar, importar, empezar	Conectores y onboarding
Volumen	Limitado por tu máquina	Limitado por tu disco duro y tu licencia	Diseñada para logs muy grandes
Verificación de bots	Manual, con comprobación DNS o de rangos IP	Integrada	Pregúntalo al proveedor
Ideal para	Comprobaciones puntuales y sitios pequeños	Consultores y sitios medianos	Equipos empresariales y de e-commerce con seguimiento semanal

El informe Estadísticas de rastreo de Google: útil, pero insuficiente

Antes de exportar un solo log, abre el informe Estadísticas de rastreo en Search Console. Muestra el total de peticiones de rastreo, el tamaño total descargado, el tiempo medio de respuesta, las respuestas agrupadas por tipo, los tipos de archivo, el propósito del rastreo y el tipo de Googlebot que hizo cada petición. Para comprobar tendencias es la vista más rápida que tienes, y el tutorial de Google Search Console explica dónde encontrarla.

Sus límites explican por qué los logs siguen importando. El informe solo está disponible para propiedades de dominio y propiedades de prefijo de URL a nivel raíz. Cubre solo los rastreadores de Google, así que GPTBot, ClaudeBot y los demás no aparecen. Agrupa los datos en lugar de listar cada URL, así que puede decirte que las peticiones de rastreo bajaron, pero no qué plantillas las perdieron. Úsalo para detectar que algo cambió, y después usa los logs para averiguar qué fue.

La ayuda de Google sobre Estadísticas de rastreo describe cada agrupación. Cuando el gráfico y tu exportación de logs no coinciden, no te fíes de ninguno hasta haber comprobado la ventana temporal y el paso de verificación. La mayoría de esas discrepancias vienen de una ventana distinta, de un CDN que responde desde caché o de un recuento de bots que incluye peticiones no verificadas.

Corregir el desperdicio de rastreo una vez que lo ves

Las correcciones se derivan de las señales. La mayoría se reduce a tres movimientos: dejar de enviar rastreadores a páginas que no importan, llevarlos directamente a la URL final cuando una página se ha movido y hacer más rápidas las páginas que sí importan.

Navegación facetada. Los filtros y los órdenes de clasificación generan muchas URL con contenido casi idéntico. Consolídalas con canonical cuando puedas, y elimina los enlaces internos a las variantes sin valor de búsqueda. Cuando una variante no se puede consolidar y debe quedar fuera del rastreo, bloquéala en robots.txt. La indicación de Google es clara en este punto: no uses noindex para esto, porque Google tiene que pedir la página antes de poder ver la etiqueta. Esta es la clase de regla que conviene probar:

User-agent: Googlebot
Disallow: /*?sort=
Disallow: /*?color=

Mantén el cambio en robots.txt en su justa medida. Google dice que bloquear URL no libera presupuesto de rastreo para tus otras páginas, salvo que el sitio ya esté al límite de su capacidad. El bloqueo es para URL sin valor, no una forma de desviar presupuesto hacia tus mejores páginas. Nuestra entrada del glosario sobre robots.txt explica cómo se lee el archivo.

Cadenas de redirección. Cuando una página se movió dos veces, el rastreador recorre ambas redirecciones cada vez. Actualiza los enlaces internos para que apunten a la URL final y mantén las redirecciones antiguas para los enlaces externos. La elección entre una redirección permanente y una temporal importa por la misma razón, y la guía de 301 frente a 302 lo detalla.

Páginas eliminadas. Devuelve un 404 o un 410 para las páginas retiradas de forma permanente. Google dice que los soft 404 siguen rastreándose y desperdician presupuesto de rastreo, así que un mensaje de «página no encontrada» servido con estado 200 es peor que un 404 real.

Tiempo de respuesta y caché. Google dice que las respuestas lentas o con fallos hacen que rastree menos. Admite respuestas 304 (Not Modified), para que las páginas sin cambios se sirvan desde caché. Después mira las plantillas que más visitas de Googlebot reciben y acelera primero esas respuestas.

Los errores que más cuestan, y cómo evitarlos

La mayoría de los análisis de logs que fracasan cometen uno de un pequeño conjunto de errores. Cada uno de los siguientes tiene un síntoma que puedes detectar en los datos y una corrección que puedes aplicar esa misma semana.

Confiar en la cadena del user agent

Qué es: contar como rastreo de Google cada petición que dice «Googlebot». Cómo detectarlo: visitas de Googlebot desde direcciones IP que no se resuelven a los nombres de host de Google, o un salto repentino desde una sola dirección. Cómo corregirlo: ejecuta la verificación de la sección del método antes de contar nada, y guarda las visitas no verificadas en un grupo aparte para seguir viendo la actividad de los scrapers.

Leer solo las respuestas 200

Qué es: centrarse en las páginas que devuelven 200 e ignorar el resto. Cómo detectarlo: tu informe no tiene una sección de 3xx, 4xx o 5xx, o nunca se habla de la mezcla de códigos de estado. Cómo corregirlo: empieza siempre por la distribución de códigos de estado. Un aumento de visitas a 404 puede revelar un enlace interno roto, y un aumento de visitas a 5xx puede revelar un problema del servidor que ralentiza todo el rastreo.

Bloquear una página que quieres desindexar

Qué es: añadir una regla de robots.txt a una página que además lleva una etiqueta noindex. Cómo detectarlo: la página sigue en el índice, y el log no muestra visitas de Googlebot, porque el rastreador tiene bloqueado pedirla. Cómo corregirlo: quita el bloqueo para que Google pueda leer la etiqueta noindex, espera a que la página salga del índice y después restaura el bloqueo si todavía lo necesitas. La guía sobre bloqueada por robots.txt explica el estado de Search Console que aparece en este caso.

Comparar ventanas de distinta duración

Qué es: comparar una exportación de 3 días antes de una corrección con una de 30 días después. Cómo detectarlo: los totales cambian mucho, pero la proporción por plantilla no. Cómo corregirlo: compara el mismo número de días, en la misma época del año si es posible, y compara proporciones en lugar de totales brutos cuando cambie el volumen.

Medir visitas en lugar de valor

Qué es: celebrar un aumento de visitas de Googlebot sin comprobar si esas visitas llegan a páginas indexadas. Cómo detectarlo: las visitas se concentran en URL que no están indexadas o que nunca generan tráfico. Cómo corregirlo: cruza tus grupos de logs con el estado de indexación de la herramienta de inspección de URL de Search Console, y considera una corrección un éxito solo cuando el rastreo se desplaza hacia las páginas que importan.

Dónde encajan los bots de IA en los mismos logs

Los mismos logs muestran lo que hacen los rastreadores de IA en tu sitio, y el método es el mismo: agrúpalos, verifícalos cuando el proveedor ofrezca una forma de hacerlo y lee los códigos de estado. Nuestra guía de logs de rastreadores de IA cubre qué bots buscar y en qué se diferencian de Googlebot. Este artículo cubre en profundidad el método de Googlebot, y la sección de IA de abajo muestra cómo combinar ambos en un solo informe.

Tipo de bot	Ejemplos	Qué revisar en los logs	Dónde leer más
Rastreador de búsqueda	Googlebot	Visitas por plantilla, mezcla de códigos de estado, tiempo hasta el primer rastreo de páginas nuevas	Las secciones anteriores de este artículo
Rastreador de entrenamiento	GPTBot, ClaudeBot, CCBot	Si piden tu contenido y si respetan tu robots.txt	Robots.txt para rastreadores de IA
Rastreador de recuperación	ChatGPT-User, PerplexityBot	Ráfagas cortas de visitas ligadas a preguntas de usuarios, y las páginas que alcanzan	Logs de rastreadores de IA

La separación entre entrenamiento y recuperación viene de cómo se documentan los rastreadores de IA. Los rastreadores de entrenamiento recogen contenido para los modelos, y los de recuperación obtienen páginas cuando un usuario hace una pregunta. Tu informe debe mantener ambos separados, porque una decisión de política sobre uno no se aplica automáticamente al otro.

Si quieres ver el tráfico de Google y el de IA lado a lado mientras aplicas estas correcciones, el panel GEO / SEO de Sorank los muestra en una sola vista. Úsalo para comprobar si los cambios que haces a partir de los logs mueven el tráfico, y no solo los recuentos de rastreo.