Robots.txt pour les robots des IA : quoi autoriser, quoi bloquer

Votre robots.txt face aux robots des IA est devenu une décision commerciale autant qu'un fichier technique. Le fichier qui ne parlait qu'à Googlebot décide désormais si ChatGPT, Claude, Perplexity et Gemini peuvent lire, citer et lier vos pages. Le format n'a pas changé : c'est toujours le protocole d'exclusion des robots normalisé par la RFC 9309, avec des lignes User-agent, Allow et Disallow. Ce qui a changé, c'est le nombre de robots, et le fait qu'un même éditeur en exploite plusieurs aux rôles différents.

Quels robots des IA existent et que font-ils ?

La plupart des éditeurs d'IA séparent désormais l'entraînement, l'indexation pour la recherche et la consultation à la demande dans des user agents distincts. Le tableau résume les principaux, tels que chaque éditeur les documente.

Sources : documentation des robots d'OpenAI et liste des robots courants de Google. Les noms évoluent parfois : vérifiez la page de chaque éditeur avant de modifier le fichier. Nos fiches de glossaire sur les robots des IA et les robots d'OpenAI donnent les définitions courtes.

Faut-il bloquer les robots des IA ?

Pour la plupart des entreprises qui cherchent des clients, non : bloquez l'entraînement si vous y tenez, laissez les robots de recherche ouverts. L'arbitrage dépend de ce que vous vendez :

• Marques, SaaS, e-commerce, commerces locaux : les réponses des IA sont un canal d'acquisition. Bloquer les robots de recherche vous en retire. Autoriser l'entraînement aide aussi les futurs modèles à connaître votre marque.
• Éditeurs qui vivent des pages vues ou des abonnements : bloquer l'entraînement protège la valeur des contenus ; garder les robots de recherche ouverts apporte encore des citations et des liens.
• Sites aux contenus privés ou sous licence : bloquez largement et appliquez le blocage côté serveur, car le robots.txt est une demande, pas un contrôle d'accès.

À quoi ressemble un robots.txt recommandé ?

Des groupes explicites par user agent, avec les robots de recherche autorisés et un choix clair pour l'entraînement. Exemple pour une entreprise qui veut être visible dans les IA sans alimenter l'entraînement :

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Supprimez le deuxième groupe si l'usage de vos contenus pour l'entraînement vous convient. Notre générateur de robots.txt gratuit construit le fichier, et le vérificateur de robots.txt montre quels robots un fichier en ligne autorise réellement.

Quelles erreurs bloquent la visibilité dans les IA par accident ?

La plus fréquente est une règle générale copiée depuis un forum. Les erreurs courantes :

• « User-agent: * / Disallow: / » oublié après la préproduction, qui bloque tous les robots, Googlebot compris.
• Bloquer OAI-SearchBot en voulant bloquer GPTBot, ce qui vous retire de ChatGPT search au lieu de l'entraînement seul.
• Une règle anti-robots du CDN ou du pare-feu qui renvoie une erreur 403 aux robots des IA, quel que soit le robots.txt. Vérifiez vos journaux serveur.
• Bloquer le CSS et le JavaScript nécessaires à l'affichage, si bien que les robots voient une coquille vide.
• Un contenu important chargé uniquement côté navigateur ; beaucoup de robots des IA n'exécutent pas le JavaScript, mettez le texte principal dans le HTML.

Le robots.txt suffit-il pour être cité ?

Non, il ouvre seulement la porte. Une fois vos pages lisibles, la citation dépend de leur capacité à répondre clairement aux questions, de leur structure et des sources tierces qui les confirment. Des données structurées pensées pour les IA, des sections qui répondent d'emblée et un fichier llms.txt facultatif aident à franchir l'étape suivante.

Conclusion

Traitez chaque robot des IA comme une décision distincte : ouvrez les robots de recherche et de consultation, choisissez délibérément pour l'entraînement et vérifiez que votre serveur applique la même politique. Mesurez ensuite si la porte ouverte se transforme en citations. Sorank suit votre marque dans ChatGPT, Claude et Gemini chaque semaine et publie des contenus structurés pour être cités : commencez avec 3 jours offerts.