La privacidad es importante para nosotros, por lo que tiene la opción de desactivar ciertos tipos de almacenamiento que pueden no ser necesarios para el funcionamiento básico del sitio web. Bloquear categorías puede afectar a su experiencia en el sitio web. Más información
Robots.txt para rastreadores de IA: los user agents de OpenAI, Anthropic, Perplexity y Google, qué hace cada uno y una configuración que le mantiene citable.
Resumir este artículo con IA
Su robots.txt para rastreadores de IA se ha convertido en una decisión de negocio, no solo en un archivo técnico. El mismo archivo que antes solo hablaba con Googlebot decide ahora si ChatGPT, Claude, Perplexity y Gemini pueden leer, citar y enlazar sus páginas. El formato no ha cambiado: sigue siendo el protocolo de exclusión de robots normalizado como RFC 9309, con líneas User-agent, Allow y Disallow. Lo que ha cambiado es el número de agentes y que un mismo proveedor gestione varios bots con fines distintos.
La mayoría de proveedores de IA separan ya entrenamiento, indexación para búsqueda y consultas a petición del usuario en user agents distintos. La tabla resume los principales según la documentación de cada proveedor.
| Proveedor | User agent | Función | Efecto del bloqueo |
|---|---|---|---|
| OpenAI | GPTBot | Datos de entrenamiento de los modelos de OpenAI | El contenido no se usa en futuros entrenamientos |
| OpenAI | OAI-SearchBot | Indexación para ChatGPT search | Sus páginas pueden dejar de aparecer como fuentes en ChatGPT search |
| OpenAI | ChatGPT-User | Páginas que un usuario pide a ChatGPT que visite | ChatGPT no puede abrir su página a petición |
| Anthropic | ClaudeBot | Datos de entrenamiento de los modelos Claude | El contenido no se usa en futuros entrenamientos |
| Anthropic | Claude-SearchBot, Claude-User | Calidad de búsqueda y consultas a petición | Menos visibilidad en las respuestas de Claude con búsqueda web |
| Perplexity | PerplexityBot, Perplexity-User | Índice de búsqueda y consultas a petición | Menos probabilidades de ser citado en Perplexity |
| Googlebot | Búsqueda de Google, incluidos AI Overviews y modo IA | Desaparición total de la Búsqueda | |
| Google-Extended (token) | Uso del contenido para Gemini y fundamentación fuera de la Búsqueda | Sin efecto en el posicionamiento | |
| Apple | Applebot-Extended (token) | Uso del contenido para los modelos generativos de Apple | Applebot sigue rastreando para Siri y Spotlight |
| Common Crawl | CCBot | Archivo abierto de la web reutilizado por muchos conjuntos de datos de IA | Contenido ausente de futuros rastreos del archivo |
Fuentes: documentación de rastreadores de OpenAI y lista de rastreadores comunes de Google. Los nombres cambian de vez en cuando: revise la página de cada proveedor antes de editar el archivo. Nuestras entradas del glosario sobre rastreadores de IA y rastreadores de OpenAI recogen las definiciones breves.
Para la mayoría de empresas que buscan clientes, no: bloquee el entrenamiento si lo necesita y deje abiertos los de búsqueda. La decisión depende de lo que vende:
Grupos explícitos por user agent, con los bots de búsqueda permitidos y una decisión clara para los de entrenamiento. Ejemplo para una empresa que quiere visibilidad en la IA sin alimentar el entrenamiento:
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xmlElimine el segundo grupo si le parece bien que su contenido se use para entrenar. Nuestro generador de robots.txt gratuito crea el archivo, y el comprobador de robots.txt muestra qué agentes permite realmente un archivo publicado.
El más habitual es una regla general copiada de un foro. Errores frecuentes:
No, solo abre la puerta. Cuando los rastreadores pueden leer sus páginas, la cita depende de que respondan con claridad, estén estructuradas para extraerse y otras fuentes las confirmen. Unos datos estructurados pensados para la búsqueda con IA, secciones que responden de entrada y un archivo llms.txt opcional ayudan en el siguiente paso.
Trate cada rastreador de IA como una decisión distinta: abra los de búsqueda y consulte, elija conscientemente con los de entrenamiento y compruebe que el servidor aplica la misma política. Después mide si la puerta abierta se convierte en citas. Sorank sigue su marca en ChatGPT, Claude y Gemini cada semana y publica contenido estructurado para ser citado: empiece con 3 días gratis.
No por sí solo. GPTBot recopila datos para entrenar los modelos de OpenAI. ChatGPT search usa otro rastreador, OAI-SearchBot, y ChatGPT-User para las páginas que un usuario le pide abrir. Bloquear solo GPTBot limita el uso para entrenamiento y deja sus páginas aptas para aparecer y ser enlazadas en ChatGPT search.
No. Google-Extended es un token de robots.txt, no un rastreador aparte, y Google indica que no afecta a la inclusión ni al posicionamiento en la Búsqueda. Los AI Overviews y el modo IA forman parte de la Búsqueda y usan Googlebot. Google-Extended controla el uso de su contenido para los modelos Gemini y la fundamentación fuera de la Búsqueda.
Los grandes proveedores documentan sus user agents y afirman que sus rastreadores respetan robots.txt, con matices para las visitas iniciadas directamente por un usuario. Se ha informado de que algunos bots menos transparentes lo ignoran. Para un bloqueo estricto, combina robots.txt con reglas de servidor o cortafuegos basadas en el user agent y en los rangos de IP publicados.
Generador llms.txt
Extractor de URL
Convertidor de Página Web a Markdown
Verificador de Sitemap XML
Sensor de volatilidad SERP
Comprobador de tamaño de página
Contador de palabras
Generador de slugGenerador de Schema MarkupGenerador de Robots.txt
Vista previa Open GraphGenerador de etiquetas meta
Compresor de imágenesGenerador de faviconAuditoría SEO On-PageHerramienta de análisis de backlinksHerramienta de investigación de palabras claveVerificador de autoridad de dominioPROBARON SORANK ANTES QUE USTED
“He probado Sorank en el sitio real de un cliente y es una locura. Hace todo aquello por lo que una agencia cobra 1.500 € al mes. Ahora se pone en producción en ese cliente.”
Guillaume Guersanguersanguillaume.com“Somos una agencia de publicidad y queríamos poner en marcha nuestro SEO de una vez por todas. Sorank nos dio una visión clara de nuestro sitio, nos ayudó a priorizar las optimizaciones y a estructurar correctamente nuestro contenido. La herramienta es fácil de usar, bien diseñada para un equipo y muy práctica para centralizar el seguimiento sin tener que hacer malabares entre varias plataformas. Una base muy sólida para empezar de nuevo con nuestro SEO.”
Gaspard MadouiAgencia de Publicidad
“Simplemente dejé que el software de Sorank hiciera su trabajo, y ahora mi DR es 25 y mi página posiciona mejor.”
Lucas FlandrePodcast Host“Me especialicé en GEO gracias a Sorank. El GEO Leaderboard me permite mostrar a mis clientes su posicionamiento frente a sus competidores en ChatGPT. Es un verdadero diferenciador comercial.”
MélanieFreelancer SEO“Excelente servicio, funciona bien para nuestro sitio web y nos ayuda a entender cómo mejorarlo para posicionarnos mejor en Google y en otros lugares. Felicitaciones, continúen así, se lo recomiendo.”
Hugo T.Comerciante e-commerce
