El Comprobador de robots.txt descarga y analiza el archivo robots.txt de cualquier dominio, valida su sintaxis y destaca las directivas que afectan a los crawlers de IA como GPTBot, PerplexityBot y Google-Extended. Introduce tu dominio en la herramienta de arriba para obtener un análisis inmediato.
Fundamentos de robots.txt y por qué los crawlers de IA cambian el panorama
Robots.txt es un archivo de texto plano en la raíz de tu dominio que indica a los crawlers a qué rutas pueden o no acceder. Durante años, los webmasters principalmente escribían reglas para Googlebot y Bingbot. El auge de los motores de búsqueda de IA ha introducido una nueva clase de bots -- cada uno con su propio user-agent -- que deben ser explícitamente permitidos o bloqueados.
Los user-agents de crawlers de IA más comunes son: GPTBot (OpenAI/ChatGPT), PerplexityBot (Perplexity), Google-Extended (IA de Google/Gemini), OAI-SearchBot (SearchGPT), ClaudeBot (Anthropic) y Meta-ExternalAgent (Meta AI).
¿Qué comprueba la herramienta de arriba?
- Accesibilidad del archivo: ¿es el robots.txt accesible y se sirve correctamente como texto plano?
- Validez de sintaxis: ¿está el archivo bien formado y libre de errores de análisis?
- Mapa de acceso para crawlers principales: la herramienta evalúa qué rutas están permitidas o bloqueadas para Googlebot, Bingbot, GPTBot, PerplexityBot, Google-Extended, OAI-SearchBot, ClaudeBot y otros bots relevantes.
- Indicadores de bloqueo de IA: si un crawler de IA está bloqueado, la herramienta lo señala explícitamente e indica si el bloqueo es total o parcial.
- Directiva Sitemap: ¿está declarado el sitemap en robots.txt para facilitar el descubrimiento?
Cómo interpretar los resultados y actuar
- Si tu robots.txt bloquea GPTBot o OAI-SearchBot, tu sitio no puede aparecer en los resultados de SearchGPT ni en las respuestas en tiempo real de ChatGPT. Actualiza el archivo para permitirlos explícitamente a menos que tengas razones concretas de licencia.
- Si Google-Extended está bloqueado, Gemini no podrá citar tu sitio en respuestas IA. Este user-agent es distinto de Googlebot, por lo que no bloqueará el posicionamiento SEO clásico, pero sí la visibilidad GEO.
- Si PerplexityBot está bloqueado, no aparecerás como fuente citada en Perplexity, que es uno de los motores de búsqueda IA con mayor crecimiento en 2025.
- Después de cualquier corrección, vuelve a ejecutar la herramienta para confirmar los cambios antes de solicitar la re-indexación.
Referencia: el coste invisible de bloquear los crawlers de IA
Los sitios que bloquean todos los rastreadores IA pierden cualquier posibilidad de aparecer en los AI Overviews de Google (presentes en ~31% de las búsquedas), las respuestas de Perplexity o las citas de ChatGPT. Con tasas de conversión del tráfico IA en torno al 7%, tres veces la media del tráfico orgánico, ese bloqueo tiene un coste real. Comprueba regularmente tu robots.txt para asegurarte de que tus decisiones de bloqueo son intencionales y no restos de plantillas antiguas.
Para monitoreo continuo de tu visibilidad en los principales motores IA y alertas cuando cambia tu accesibilidad de rastreo, Sorank rastrea automáticamente la presencia GEO de tu dominio.
.webp){kind=small}
.webp){kind=small}
.svg)
.svg)
