Audit AI de accesibilitate pentru crawlere: pot botii AI să îți acceseze site-ul?

Un audit AI de accesibilitate pentru crawlere răspunde la o întrebare simplă: pot AI-urile care răspund clienților tăi să citească site-ul tău? Fiecare companie publică numele pe care îl folosește crawlerul în robots.txt, iar fiecare setare funcționează separat. OpenAI, de exemplu, explică faptul că un site poate permite OAI-SearchBot ca să apară în rezultatele căutării ChatGPT, dezactivând în același timp GPTBot ca să țină conținutul afară din antrenarea modelelor (OpenAI, prezentarea crawlerelor OpenAI). O singură linie în robots.txt te poate face invizibil într-un răspuns AI, fără să știi.

Ce crawlere AI verifică auditul?

Auditul testează 14 user agent-uri. Cinci dintre ele, marcate mai jos, servesc căutarea și răspunsurile în timp real: blocarea lor te scoate din răspunsurile pe care oamenii le citesc azi.

Anthropic documentează acum trei boți: ClaudeBot pentru antrenare, Claude-User pentru paginile preluate când cineva îi pune o întrebare lui Claude și Claude-SearchBot pentru calitatea căutării (Centrul de ajutor Claude, crawlerele Anthropic). Dacă vrei să fii citat de Claude, permite și ultimii doi în robots.txt.

Cum rulezi auditul?

1. Introdu domeniul tău, de exemplu domeniultau.ro. Auditul citește https://domeniultau.ro/robots.txt și pagina de pornire.
2. Citește cele patru cifre din partea de sus: boți de căutare permiși, crawlere blocate, crawlere verificate și sitemap-uri declarate.
3. Parcurge tabelul crawlerelor: fiecare rând arată compania, rolul, starea și regula care a decis.
4. Remediază problemele listate la „Cum să îmbunătățești”, apoi rulează auditul din nou.

Auditul este gratuit, cu 3 verificări pe zi și fără cont.

Cum se calculează scorul de accesibilitate AI?

Fiecare crawler contează ca o verificare: permis aduce punctajul complet, parțial jumătate, blocat nimic. Cele cinci crawlere de căutare cântăresc de două ori cât crawlerele de antrenare, iar un noindex pe pagina de pornire, în tag-ul meta robots sau în antetul X-Robots-Tag, se numără dublu ca eșec. Scorul este procentul de puncte câștigate.

Scorul răsplătește deschiderea. Dacă păstrezi deschise cele cinci crawlere de căutare și le blochezi pe celelalte nouă, scorul tău va ajunge în jur de 57: aceasta este o alegere deliberată, nu o eroare. În acest caz, uită-te întâi la cifra „Boți de căutare OK”, care ar trebui să fie 5/5.

Ce înseamnă permis, parțial și blocat?

Auditul aplică regulile robots.txt așa cum le aplică crawlerele: ia grupul scris pentru crawlerul respectiv pe nume sau grupul „User-agent: *” dacă nu există unul.

• Permis: nu se aplică niciun grup sau grupul nu are nicio regulă Disallow.
• Parțial: unele căi sunt interzise, de exemplu /admin/ sau /cart/. De obicei este în regulă; verifică doar ca paginile tale de conținut să nu fie în listă.
• Blocat: „Disallow: /” fără „Allow: /”, deci crawlerul poate să nu citească nicio pagină.

Regulile urmează Protocolul de excludere a robotilor standardizat de IETF în RFC 9309, care amintește și proprietarilor de site-uri că aceste reguli „nu reprezintă o formă de autorizare a accesului” (RFC 9309, Robots Exclusion Protocol). Robots.txt este o cerere pe care crawlerele corecte o respectă, nu un lacăt.

Ar trebui să blochezi crawlerele AI sau să le lași să intre?

Separă cele două utilizări. Crawlerele de căutare aduc citări și vizite; crawlerele de antrenare alimentează modelele viitoare. Majoritatea companiilor care vor să fie recomandate deschid primul grup și decid de la caz la caz pentru al doilea.

Două precizări oficiale ajută la decizie. Google afirmă că Google-Extended nu afectează includerea unui site în Google Search și nu este un semnal de clasare (Google, crawlere comune). Perplexity afirmă că PerplexityBot aduce site-uri în rezultatele sale de căutare și nu este folosit pentru antrenarea modelelor de bază AI (Perplexity, documentația crawlerelor). Applebot-Extended controlează doar antrenarea: Apple notează că mai rămâi descoperibil prin Spotlight, Siri și Safari (Asistența Apple, despre Applebot).

Cum repari un crawler AI blocat?

Editează fișierul robots.txt din rădăcina domeniului tău. Ca să deschizi căutarea ChatGPT și să ții GPTBot afară, adaugă două grupuri:

• User-agent: OAI-SearchBot urmat de Allow: /
• User-agent: GPTBot urmat de Disallow: /

Apoi verifică trei lucruri care anulează adesea modificarea.

1. O regulă de CDN sau firewall care blochează user agent-urile AI înainte ca robots.txt să fie citit. Unele CDN-uri oferă un comutator dintr-un singur clic care blochează botii AI.
2. Un noindex într-un tag meta sau într-un antet X-Robots-Tag, pe care auditul îl raportează separat.
3. Întârzierea: OpenAI și Perplexity spun amândouă că modificările pot dura aproximativ 24 de ore până apar.

Verificatorul robots.txt validează sintaxa, iar generatorul robots.txt scrie un fișier curat. Intrarea din glosar despre crawlerele AI explică fiecare bot mai detaliat.

De ce auditul se uită la sitemap și la noindex?

Pentru că accesul nu este suficient: crawlerele trebuie și să găsească paginile tale și să aibă voie să le folosească. O linie „Sitemap:” în robots.txt îndreaptă fiecare crawler spre lista ta de URL-uri, iar un noindex pe pagina de pornire spune sistemelor de căutare să lase site-ul afară. Google confirmă că, pentru a apărea ca link de susținere în AI Overviews sau AI Mode, o pagină trebuie să fie indexată și eligibilă pentru un fragment (Google, funcțiile AI și site-ul tău). Pentru o vedere pagină cu pagină, folosește verificatorul de indexabilitate și verificatorul de sitemap.

Care sunt limitele auditului?

• Citește reguli, nu trafic: nu poate vedea dacă un crawler te-a vizitat cu adevărat. Jurnalele serverului tău arată asta.
• Un robots.txt lipsă înseamnă deschis: când fișierul nu poate fi citit, fiecare crawler apare ca permis. Dacă fișierul răspunde cu o eroare de server, crawlerele pot în schimb să considere întregul site blocat, așa cum prevede RFC 9309, deci verifică codul de stare.
• Firewall-urile sunt invizibile pentru el: un bot blocat la nivelul CDN apare în continuare ca permis.
• Apar des crawlere noi: lista acoperă marile companii AI, nu fiecare bot din web.

De la uși deschise la citări reale

Un robots.txt deschis face citările posibile; nu le creează. Odată ce crawlerele te pot citi, verifică dacă ChatGPT te citează chiar, cu verificatorul de vizibilitate ChatGPT. Urmărirea mențiunilor AI Sorank urmărește apoi citările tale în ChatGPT, Gemini și Claude în fiecare lună, iar generatorul de articole de blog publică paginile pe care aceste AI-uri le preferă să le citeze. Vezi planurile Sorank ca să rulezi totul în mod autopilot.