Resumen
Este comprobador descarga y analiza el robots.txt de un dominio, valida su sintaxis e indica si los crawlers de IA como GPTBot, PerplexityBot o Google-Extended están permitidos o bloqueados. Bloquear GPTBot, OAI-SearchBot o Google-Extended basta para desaparecer de SearchGPT, ChatGPT o Gemini, así que compruebe que cada bloqueo sea intencional.
¿Quiere ir más lejos? Pregunte a
El Comprobador de robots.txt descarga y analiza el archivo robots.txt de cualquier dominio, valida su sintaxis y destaca las directivas que afectan a los crawlers de IA como GPTBot, PerplexityBot y Google-Extended. Introduzca su dominio en la herramienta de arriba para obtener un análisis inmediato.
Fundamentos de robots.txt y por qué los crawlers de IA cambian el panorama
Robots.txt es un archivo de texto plano en la raíz de su dominio que indica a los crawlers a qué rutas pueden o no acceder. Durante años, los webmasters principalmente escribían reglas para Googlebot y Bingbot. El auge de las IA ha introducido una nueva clase de bots, cada uno con su propio user-agent, que deben ser explícitamente permitidos o bloqueados.
Los user-agents de crawlers de IA más comunes son: GPTBot (OpenAI/ChatGPT), PerplexityBot (Perplexity), Google-Extended (IA de Google/Gemini), OAI-SearchBot (SearchGPT), ClaudeBot (Anthropic) y Meta-ExternalAgent (Meta AI).
¿Qué comprueba la herramienta de arriba?
- Accesibilidad del archivo: ¿es el robots.txt accesible y se sirve correctamente como texto plano?
- Validez de sintaxis: ¿está el archivo bien formado y libre de errores de análisis?
- Mapa de acceso para crawlers principales: la herramienta evalúa qué rutas están permitidas o bloqueadas para Googlebot, Bingbot, GPTBot, PerplexityBot, Google-Extended, OAI-SearchBot, ClaudeBot y otros bots relevantes.
- Indicadores de bloqueo de IA: si un crawler de IA está bloqueado, la herramienta lo señala explícitamente e indica si el bloqueo es total o parcial.
- Directiva Sitemap: ¿está declarado el sitemap en robots.txt para facilitar el descubrimiento?
Cómo interpretar los resultados y actuar
- Si su robots.txt bloquea GPTBot o OAI-SearchBot, su sitio no puede aparecer en los resultados de SearchGPT ni en las respuestas en tiempo real de ChatGPT. Actualice el archivo para permitirlos explícitamente a menos que tenga razones concretas de licencia.
- Si Google-Extended está bloqueado, Gemini no podrá citar su sitio en respuestas IA. Este user-agent es distinto de Googlebot, por lo que no bloqueará el posicionamiento SEO clásico, pero sí la visibilidad GEO.
- Si PerplexityBot está bloqueado, no aparecerá como fuente citada en Perplexity, que es una de las IA con mayor crecimiento en 2025.
- Después de cualquier corrección, vuelva a ejecutar la herramienta para confirmar los cambios antes de solicitar la re-indexación.
Referencia: el coste invisible de bloquear los crawlers de IA
Los sitios que bloquean todos los rastreadores IA pierden cualquier posibilidad de aparecer en los AI Overviews de Google (presentes en ~31% de las búsquedas), las respuestas de Perplexity o las citas de ChatGPT. Con tasas de conversión del tráfico IA en torno al 7%, tres veces la media del tráfico orgánico, ese bloqueo tiene un coste real. Compruebe regularmente su robots.txt para asegurarse de que sus decisiones de bloqueo son intencionales y no restos de plantillas antiguas.
Para monitoreo continuo de su visibilidad en las principales IA y alertas cuando cambia su accesibilidad de rastreo, Sorank rastrea automáticamente la presencia GEO de su dominio.
