Robots.txt pentru crawlerele AI: ce să permiți și ce să blochezi

Test rapid

Cum ar trebui să fii menționat de ChatGPT și de alți asistenți IA?

Întrebarea 1 din 425%

Ce vrei să afli sau să schimbi?

Doar să văd dacă asistenții IA vorbesc despre afacerea meaSă urmăresc evoluția în timp, în comparație cu concurenții meiSă fiu menționat mai des, începând de acum

Fișierul tău robots.txt pentru crawlerele AI a devenit o decizie de business, nu doar un fișier tehnic. Același fișier care vorbea odinioară doar cu Googlebot decide acum dacă ChatGPT, Claude, Perplexity și Gemini pot citi, cita și lega paginile tale. Formatul în sine nu s-a schimbat: este tot protocolul de excludere pentru roboți, standardizat ca RFC 9309, cu user agent-uri și linii Allow și Disallow. S-a schimbat numărul de agenți și faptul că un singur furnizor poate rula mai mulți boți cu scopuri diferite.

Ce crawlere AI există și ce fac?

Majoritatea furnizorilor AI separă acum antrenarea, indexarea pentru căutare și preluarea declanșată de utilizator în user agent-uri diferite. Tabelul rezumă pe cele principale, așa cum sunt documentate de fiecare furnizor.

Surse: documentația crawlerelor OpenAI și lista crawlerelor comune Google. Numele se schimbă din când în când, deci verifică pagina fiecărui furnizor înainte să modifici fișierul. Intrările noastre din glosar despre crawlerele AI și crawlerele OpenAI păstrează definițiile scurte.

Ar trebui să blochezi crawlerele AI?

Pentru majoritatea afacerilor care vor clienți, nu: blochează antrenarea dacă trebuie, dar ține crawlerele de căutare deschise. Compromisul depinde de ce vinzi:

• Branduri, SaaS, e-commerce, afaceri locale: răspunsurile AI sunt un canal de achiziție. Blocarea crawlerelor de căutare te scoate din el. Permiterea crawlerelor de antrenare ajută și modelele viitoare să îți cunoască brandul.
• Editorii care trăiesc din vizualizări de pagină sau abonamente: blocarea crawlerelor de antrenare protejează valoarea conținutului; menținerea deschisă a crawlerelor de căutare aduce în continuare citări și linkuri.
• Site-urile cu conținut privat sau licențiat: blochează larg și aplică regula la nivelul serverului, pentru că robots.txt este o cerere, nu un control de acces.

Cum arată un robots.txt recomandat?

Grupuri explicite pentru fiecare user agent, cu boții de căutare permiși și o alegere clară pentru boții de antrenare. Exemplu pentru o afacere care vrea vizibilitate în AI, dar preferă să nu alimenteze datele de antrenare:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Scoate al doilea grup dacă ești de acord ca media ta să fie folosită la antrenare. Generatorul gratuit de robots.txt de la noi construiește fișierul, iar verificatorul de robots.txt arată ce agenți permite de fapt un fișier live.

Ce greșeli blochează vizibilitatea AI din întâmplare?

Cea mai frecventă este o regulă generală copiată de pe un forum. Erori frecvente:

• „User-agent: * / Disallow: /” rămas de pe staging, care blochează fiecare bot, inclusiv Googlebot.
• Blocarea OAI-SearchBot când vrei să blochezi GPTBot, ceea ce te scoate din căutarea ChatGPT în loc să blocheze doar antrenarea.
• O regulă de protecție împotriva botilor la CDN sau firewall care întoarce 403 user agent-urilor AI, indiferent de robots.txt. Verifică jurnalele serverului.
• Blocarea fișierelor CSS și JavaScript necesare pentru randarea paginii, astfel că crawlerele văd o carcasă goală.
• Conținut important încărcat doar pe client; multe crawlere AI nu execută JavaScript, deci livrează textul principal în HTML.

Ajunge robots.txt ca să fii citat?

Nu, doar deschide ușa. Odată ce crawlerele pot citi paginile, citarea depinde de cât de clar răspund acestea la întrebări, de cât de bine sunt structurate pentru extragere și de confirmarea de către alte surse. Date structurate curate pentru căutarea AI, secțiuni care răspund din prima frază și un fișier opțional llms.txt ajută la pasul următor.

Concluzie

Tratează crawlerele AI ca decizii separate: deschide boții de căutare și de preluare la cerere, alege conștient boții de antrenare și verifică faptul că serverul tău aplică aceeași politică. Apoi măsoară dacă ușa deschisă se transformă în citări. Sorank urmărește brandul tău în ChatGPT, Claude și Gemini în fiecare lună și publică conținut structurat pentru a fi citat: începe cu o perioadă de probă gratuită de 3 zile.