La privacidad es importante para nosotros, por lo que tiene la opción de desactivar ciertos tipos de almacenamiento que pueden no ser necesarios para el funcionamiento básico del sitio web. Bloquear categorías puede afectar a su experiencia en el sitio web. Más información
Guía robots.txt: sintaxis, implementación y ejemplos. Controla el rastreo de Google, bloquea bots malos y optimiza el presupuesto de rastreo.
Herramientas
Resumen
Robots.txt es un archivo de texto en la raíz de su sitio que le dice a los motores de búsqueda qué partes rastrear y cuáles omitir, ayudando a gestionar el presupuesto de rastreo y prevenir la indexación de páginas privadas.
¿Quiere ir más lejos? Pregunte a
Robots.txt es un archivo simple pero poderoso que controla cómo los motores de búsqueda rastrean su sitio web. Se encuentra en `https://ejemplo.com/robots.txt` y contiene reglas especificando qué páginas y directorios pueden rastrear Google, Bing y otros bots. Robots.txt le ayuda a gestionar el presupuesto de rastreo (número de páginas que Google rastrea diariamente), previene desperdiciar rastreo en páginas sin importancia y mantiene contenido privado fuera de resultados de búsqueda.
La mayoría de sitios web tienen un archivo robots.txt, pero muchos están mal configurados. Un robots.txt mal configurado puede bloquear accidentalmente páginas importantes, desperdiciando potencial de ranking. Un robots.txt bien configurado mejora la eficiencia de rastreo y protege la privacidad de su sitio. Esta guía cubre sintaxis robots.txt, mejores prácticas y ejemplos del mundo real.
Robots.txt es un archivo de texto estandarizado que comunica instrucciones de rastreo a bots de motores de búsqueda. Cuando un bot visita su sitio por primera vez, solicita `/robots.txt` antes de rastrear cualquier otra cosa. El robot lee las reglas y las sigue (asumiendo que el bot es bien comportado).
La documentación robots.txt de Google es la referencia autorizada para el estándar. El formato robots.txt fue creado en 1994 y ha sido ampliamente adoptado. Todos los motores de búsqueda principales (Google, Bing, Baidu) respetan robots.txt.
Importante: Robots.txt es una directriz, no un cortafuegos. Los bots bien comportados (Google, Bing) respetan reglas robots.txt. Los bots maliciosos y scrapers ignoran robots.txt. Use robots.txt para gestionar rastreo de motores de búsqueda, no para bloquear hackers o scrapers. Para seguridad, use herramientas a nivel de servidor.
Robots.txt usa sintaxis de texto simple. Cada regla tiene dos partes: un User-agent (a qué bot se aplica la regla) y rutas Disallow (qué páginas bloquear).
Ejemplo básico:
User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://ejemplo.com/sitemap.xml
Esto le dice a todos los bots (el `*` significa todos) que no rastreen los directorios `/admin/` y `/staging/`. La línea Sitemap le dice a los bots dónde está su sitemap.
User-agent: \* significa todos los bots. También puede especificar bots individuales:
`User-agent: Googlebot` se aplica solo al bot de Google. `User-agent: Bingbot` se aplica solo al bot de Bing. Puede tener múltiples secciones User-agent con diferentes reglas.
Disallow: /ruta/ le dice a los bots que no rastreen esa ruta. Disallow: / bloquea todo el sitio. Disallow: (vacío) permite todo. Puede listar múltiples reglas Disallow por User-agent.
Allow: /ruta/ permite rastrear una ruta específica incluso si un directorio padre está bloqueado. Ejemplo: Disallow: /temp/ pero Allow: /temp/important/ permite rastrear solo el subdirectorio /important/.
Patrón 1: Bloquear páginas de administración
User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/
Esto bloquea rastreo de páginas administrativas, de usuario y de cuenta. Estas páginas típicamente no están destinadas para motores de búsqueda.
Patrón 2: Bloquear ambiente de staging
User-agent: *
Disallow: /staging/
Disallow: /test/
Previene que bots rastreen versiones de prueba o staging de su sitio.
Patrón 3: Bloquear tipos de archivo específicos
User-agent: *
Disallow: /*.pdf
Disallow: /*.zip
Previene que bots rastreen PDFs y archivos ZIP. Esto es útil si tiene muchos PDFs que no deberían ser indexados.
Patrón 4: Bots lentos que sobrecargan su servidor
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Crawl-delay: 10
Bloquee completamente el bot de Ahrefs (si no quiere que su sitio sea rastreado por herramientas SEO). Ralentiza el bot de Semrush agregando un retraso de 10 segundos entre solicitudes. Crawl-delay es útil para bots agresivos que sobrecargan su servidor.
Patrón 5: Permitir todo (por defecto)
User-agent: *
Disallow:
Este es el predeterminado. Disallow vacío significa permitir todo. También puede omitir robots.txt completamente si quiere que todo contenido sea rastreable.
Robots.txt bloquea rastreo. Meta robots noindex bloquea indexación. Estos sirven propósitos diferentes.
Use robots.txt cuando: Quiere ahorrar presupuesto de rastreo. Tiene contenido duplicado que no debería ser rastreado. Tiene páginas de administración que no deberían ser tocadas por bots. Quiere ralentizar bots agresivos.
Use meta robots noindex cuando: Quiere que una página sea rastreada pero no indexada (para ver errores). Quiere prevenir indexación pero permitir rastreo. Quiere eventualmente eliminar una página de búsqueda pero mantenerla activa.
Ejemplo: Páginas paginadas como `/products?page=2` pueden bloquearse en robots.txt para ahorrar presupuesto de rastreo (ya que Google típicamente consolida paginación). Pero podría querer que sean rastreadas para identificar relaciones canónicas. En ese caso, use canonicals en lugar de robots.txt.
El presupuesto de rastreo es el número de URLs que Google rastrea diariamente en su sitio. Los sitios grandes con millones de páginas no pueden ser rastreados completamente en un día. Google asigna presupuesto de rastreo basado en la autoridad de su sitio y frecuencia de cambios. El presupuesto es finito. Desperdiciarlo en páginas sin importancia significa que páginas importantes se rastreen menos frecuentemente.
Optimiza presupuesto de rastreo bloqueando páginas que no deberían ser rastreadas: contenido duplicado, resultados paginados, páginas de cuenta de usuario, páginas de prueba. Cada página que bloquee le da a Google más presupuesto para rastrear su contenido importante.
Desperdiciadores comunes de presupuesto de rastreo: paginación infinita (filtros de producto crean URLs ilimitadas), contenido duplicado con parámetros diferentes, IDs de sesión añadidos a cada URL, páginas de calendario/evento generando URLs infinitas. Use robots.txt para bloquear estos patrones.
Google Search Console muestra estadísticas de rastreo de su sitio. Monitorea solicitudes de rastreo diariamente. Si Google rastrea las mismas páginas repetidamente sin descubrir contenido nuevo, revise su robots.txt y estrategia de bloqueo.
Incluya su URL de sitemap en robots.txt. Añade `Sitemap: https://ejemplo.com/sitemap.xml` al final de su archivo robots.txt. Esto le dice a Google dónde encontrar su sitemap XML. Puede listar múltiples sitemaps si tiene múltiples archivos.
Ejemplo:
User-agent: *
Disallow: /admin/
Sitemap: https://ejemplo.com/sitemap.xml
Sitemap: https://ejemplo.com/sitemap-news.xml
Listar sitemaps en robots.txt es opcional (puede enviar sitemaps vía Google Search Console), pero es una mejor práctica.
Google Search Console tiene un probador robots.txt. Vaya a Configuración > Rastreo > Probar robots.txt. Introduzca una URL y vea si robots.txt la bloquea. Esto es invaluable para validar sus reglas antes de desplegar.
Siempre prueba antes de desplegar cambios robots.txt. Un error único (como `Disallow: /` bloqueando todo su sitio) puede arruinar sus rankings. Use el probador para verificar que:
Páginas importantes no están bloqueadas. Páginas de administración están bloqueadas. Patrones de contenido duplicado están bloqueados. No hay rutas críticas accidentalmente deshabilitadas.
Después de desplegar robots.txt, monitorea el informe de rastreo de Google Search Console para cambios. Si la tasa de rastreo cae inesperadamente, puede que haya bloqueado contenido importante accidentalmente.
Error 1: Bloquear CSS y JavaScript. Si bloquea `/css/` o `/js/` en robots.txt, Google no puede rastrear su CSS y JavaScript. Sin CSS, Google no puede renderizar sus páginas correctamente. No bloquee CSS o JavaScript.
Error 2: Bloquear contenido importante. Siempre prueba antes de desplegar. Un typo como `Disallow: /p` en lugar de `Disallow: /staging/` puede bloquear accidentalmente `/products/`.
Error 3: Usar robots.txt para seguridad. No confíe en robots.txt para proteger datos sensibles. Las páginas sensibles deberían requerir autenticación, no solo robots.txt. Robots.txt es pública y fácilmente eludida.
Error 4: Robots.txt inconsistente entre dominios. Si tiene múltiples dominios, mantenga políticas robots.txt consistentes. Reglas accidentalmente diferentes pueden causar problemas de eficiencia de rastreo.
Error 5: Bloquear el sitemap mismo. Nunca bloquee `/sitemap.xml` en robots.txt. Google necesita rastrear el sitemap para descubrir páginas.
Crawl-delay y Request-rate: Estas directivas ralentizan bots. `Crawl-delay: 10` añade 10 segundos entre solicitudes. `Request-rate: 1/10` permite 1 solicitud por 10 segundos. Use estos para bots que sobrecargan su servidor. Google recomienda usar configuración de Search Console en lugar de estas directivas.
Directiva Allow: Permite rastrear una ruta específica incluso si una ruta padre está bloqueada. Útil para carving out excepciones. Ejemplo: `Disallow: /temp/` pero `Allow: /temp/keep/` permite solo el subdirectorio keep.
La especificación robots.txt de Google documenta todas las directivas soportadas. La mayoría de funciones raramente se necesitan. Mantente con User-agent, Disallow y Sitemap básicos para la mayoría de sitios.
Las reglas específicas de User-agent permiten diferentes reglas de rastreo para diferentes bots. Puede especificar reglas para Googlebot, Bingbot y otros user-agents separadamente. Esto es útil si quiere que Google rastree todo su sitio pero restringir a Bing de acceder a ciertas secciones. Especifique user-agent al inicio de cada bloque de regla:
`User-agent: Googlebot` aplica reglas solo al rastreador de Google. `User-agent: *` aplica reglas a todos los bots. Las reglas se aplican al user-agent específico hasta la próxima directiva user-agent. Puede crear múltiples bloques de regla para diferentes bots.
Las directivas Crawl-delay y request-rate le dicen a los bots con qué frecuencia rastrear. `Crawl-delay: 5` le dice al bot que espere 5 segundos entre solicitudes. Esto reduce carga del servidor. `Request-rate: 1/10` le dice al bot hacer como máximo 1 solicitud por 10 segundos. La documentación robots.txt de Google detalla todas las directivas soportadas.
Las directivas de ubicación de Sitemap le dicen a los bots dónde encontrar su sitemap. `Sitemap: https://ejemplo.com/sitemap.xml` apunta bots a su sitemap XML. Puede especificar múltiples sitemaps. Esto se recomienda ya que ayuda a bots a descubrir todas sus páginas eficientemente.
La directiva Clean-param elimina parámetros de URL antes del rastreo. `Clean-param: utm_source&utm_medium https://ejemplo.com` le dice a Google que ignore parámetros UTM en ejemplo.com. Esto previene que Google trate links rastreados como contenido duplicado. Esto se usa menos ahora ya que Google maneja la mayoría de parámetros de rastreo automáticamente.
Pruebe su archivo robots.txt en el probador robots.txt de Google Search Console. La herramienta muestra qué URLs serían bloqueadas por su robots.txt para Googlebot. Esto previene bloqueo accidental de páginas importantes.
Robots.txt es un archivo simple pero crítico para gestionar rastreo de motores de búsqueda y proteger la privacidad de su sitio. Un robots.txt bien configurado bloquea páginas sin importancia, ahorra presupuesto de rastreo y previene que contenido duplicado sea rastreado múltiples veces. Un robots.txt mal configurado puede bloquear accidentalmente contenido importante y arruinar sus rankings.
Siempre prueba cambios robots.txt antes de desplegar. Use el probador de Google Search Console para validar reglas. Monitorea estadísticas de rastreo mensualmente. Bloquee contenido sin importancia y gestione presupuesto de rastreo efectivamente. Use nuestra herramienta de auditoría GEO SEO para auditar su configuración robots.txt e identificar problemas potenciales con rastreabilidad e indexación en todo su sitio.
Fuentes
Robots.txt impide solo rastreo, no indexación. Una página bloqueada por robots.txt no puede ser rastreada, pero puede ser indexada si Google encuentra la URL en otro lugar. Para prevenir indexación, use la etiqueta meta robots noindex.
Robots.txt es una directriz, no un cortafuegos. Los bots bien comportados respetan robots.txt. Los bots malos y scrapers ignoran robots.txt completamente. Para bloquear bots malos, use herramientas a nivel de servidor como bloqueo de IP o limitación de velocidad.
Google recomienda mantener robots.txt bajo 500 kilobytes. Los archivos muy grandes pueden impactar la eficiencia de rastreo. Si su robots.txt crece excesivamente, considere consolidar reglas o reestructurar su sitio.
PROBARON SORANK ANTES QUE USTED
“He probado Sorank en el sitio real de un cliente y es una locura. Hace todo aquello por lo que una agencia cobra 1.500 € al mes. Ahora se pone en producción en ese cliente.”
Guillaume Guersanguersanguillaume.com“Somos una agencia de publicidad y queríamos poner en marcha nuestro SEO de una vez por todas. Sorank nos dio una visión clara de nuestro sitio, nos ayudó a priorizar las optimizaciones y a estructurar correctamente nuestro contenido. La herramienta es fácil de usar, bien diseñada para un equipo y muy práctica para centralizar el seguimiento sin tener que hacer malabares entre varias plataformas. Una base muy sólida para empezar de nuevo con nuestro SEO.”
Gaspard MadouiAgencia de Publicidad
“Simplemente dejé que el software de Sorank hiciera su trabajo, y ahora mi DR es 25 y mi página posiciona mejor.”
Lucas Flandrefoundertrace.fr“Me especialicé en GEO gracias a Sorank. El GEO Leaderboard me permite mostrar a mis clientes su posicionamiento frente a sus competidores en ChatGPT. Es un verdadero diferenciador comercial.”
MélanieFreelancer SEO“Excelente servicio, funciona bien para nuestro sitio web y nos ayuda a entender cómo mejorarlo para posicionarnos mejor en Google y en otros lugares. Felicitaciones, continúen así, se lo recomiendo.”
Hugo T.Comerciante e-commerce
