Audit procházení webu pro AI: mohou boti AI skutečně přistupovat k vašemu webu?

Audit procházení webu pro AI odpovídá na jednoduchou otázku: mohou AI, které odpovídají vašim zákazníkům, číst váš web? Každá firma zveřejňuje název, který její crawler používá v robots.txt, a každé nastavení funguje samostatně. OpenAI například vysvětluje, že web může povolit OAI-SearchBot, aby se objevil ve výsledcích vyhledávání ChatGPT, a zároveň zakázat GPTBot, aby jeho obsah zůstal mimo trénování modelů (OpenAI, přehled crawlerů OpenAI). Jeden řádek v robots.txt tak může způsobit, že budete v odpovědi AI neviditelní, a nevíte o tom.

Které crawlery AI audit kontroluje?

Audit testuje 14 uživatelských agentů. Pět z nich, označených níže, obsluhuje vyhledávání a odpovědi v reálném čase: jejich blokace vás vyřadí z odpovědí, které lidé dnes čtou.

Anthropic nyní dokumentuje tři boty: ClaudeBot pro trénování, Claude-User pro stránky načtené, když se někdo zeptá Claude, a Claude-SearchBot pro kvalitu vyhledávání (Centrum nápovědy Claude, crawlery Anthropic). Pokud chcete být citováni Claude, povolte v robots.txt také poslední dva.

Jak audit spustit?

1. Zadejte svou doménu, například yourdomain.com. Audit čte https://yourdomain.com/robots.txt a domovskou stránku.
2. Přečtěte si čtyři údaje nahoře: povolení vyhledávací boti, blokované crawlery, zkontrolované crawlery a deklarované sitemap.
3. Projděte tabulku crawlerů: každý řádek ukazuje firmu, roli, stav a pravidlo, které o něm rozhodlo.
4. Opravte uvedené problémy v části „Jak zlepšit“ a pak audit spusťte znovu.

Audit je bezplatný, s třemi kontrolami denně a bez účtu.

Jak se počítá skóre procházení webu pro AI?

Každý crawler se počítá jako jedna kontrola: povolen získá plné body, částečně polovinu, blokován nic. Pět vyhledávacích crawlerů váží dvakrát tolik než tréninkové. Noindex na domovské stránce, v meta značce robots nebo v hlavičce X-Robots-Tag se počítá dvakrát jako selhání. Skóre je podíl získaných bodů.

Skóre odměňuje otevřenost. Pokud necháte pět vyhledávacích crawlerů otevřených a devět ostatních zablokujete, skóre se usadí kolem 57: jde o záměrné rozhodnutí, ne o chybu. V takovém případě se nejdřív podívejte na údaj „Vyhledávací boti OK“, který by měl ukazovat 5/5.

Co znamenají povoleno, částečně a blokováno?

Audit uplatňuje pravidla robots.txt tak, jak je čtou crawlery: vezme skupinu napsanou pro crawler jménem, nebo skupinu „User-agent: *“, pokud žádná není.

• Povoleno: žádná skupina se neuplatní, nebo skupina nemá pravidlo Disallow.
• Částečně: některé cesty jsou zakázány, například /admin/ nebo /cart/. To je obvykle v pořádku. Zkontrolujte, že vaše obsahové stránky na seznamu nejsou.
• Blokováno: „Disallow: /“ bez „Allow: /“, takže crawler nemusí číst žádnou stránku.

Pravidla vycházejí z protokolu Robots Exclusion standardizovaného IETF v RFC 9309, který také připomíná, že tato pravidla „nejsou formou autorizace přístupu“ (RFC 9309, Robots Exclusion Protocol). Robots.txt je žádost, kterou řádné crawlery respektují, ne zámek.

Blokovat crawlery AI, nebo je pustit dovnitř?

Oddělte ta dvě použití. Vyhledávací crawlery přinášejí citace a návštěvy; tréninkové crawlery živí budoucí modely. Většina firem, které chtějí být doporučovány, otevře první skupinu a druhou posuzuje případ od případu.

Dvě oficiální upřesnění pomáhají při rozhodnutí. Google uvádí, že Google-Extended neovlivňuje zařazení webu do Google Search a není signálem pro pořadí (Google, běžné crawlery). Perplexity uvádí, že PerplexityBot zobrazuje weby ve výsledcích jeho vyhledávání a nepoužívá se k trénování základních modelů AI (Perplexity, dokumentace crawlerů). Applebot-Extended řídí jen trénování: Apple uvádí, že váš obsah zůstává k nalezení přes Spotlight, Siri a Safari (Apple Support, o Applebot).

Jak opravit blokovaný crawler AI?

Upravte soubor robots.txt v kořeni své domény. Abyste otevřeli vyhledávání ChatGPT a zároveň drželi GPTBot mimo, přidejte dvě skupiny:

• User-agent: OAI-SearchBot následovaný Allow: /
• User-agent: GPTBot následovaný Disallow: /

Pak zkontrolujte tři věci, které změnu často vrátí zpět.

1. Pravidlo CDN nebo firewallu, které blokuje uživatelské agenty AI dřív, než se vůbec přečte robots.txt. Některé CDN nabízejí přepínač jedním kliknutím, který blokuje boty AI.
2. Noindex v meta značce nebo v hlavičce X-Robots-Tag, který audit uvádí zvlášť.
3. Zpoždění: OpenAI i Perplexity uvádějí, že se změny mohou projevit přibližně za 24 hodin.

Kontrola robots.txt ověřuje syntaxi a generátor robots.txt napíše čistý soubor. Slovníkové heslo o crawlerech AI popisuje každého bota podrobněji.

Proč audit kontroluje sitemap a noindex?

Protože přístup nestačí: crawlery také musí najít vaše stránky a smět je použít. Řádek „Sitemap:“ v robots.txt ukazuje každému crawleru na váš seznam URL a noindex na domovské stránce říká vyhledávacím systémům, aby web vynechaly. Google potvrzuje, že aby se stránka objevila jako podpůrný odkaz v AI Overviews nebo AI Mode, musí být indexovaná a způsobilá k úryvku (Google, funkce AI a váš web). Pro pohled stránku po stránce použijte kontrolu indexovatelnosti a kontrolu sitemap.

Jaké jsou limity auditu?

• Čte pravidla, ne návštěvnost: nevidí, zda vás crawler skutečně navštívil. To ukážou logy vašeho serveru.
• Chybějící robots.txt se počítá jako otevřený: když soubor nelze přečíst, každý crawler je zobrazen jako povolený. Pokud soubor vrací chybu serveru, crawlery naopak mohou celý web považovat za blokovaný, jak specifikuje RFC 9309. Proto zkontrolujte jeho stavový kód.
• Firewally jsou pro něj neviditelné: bot blokovaný na úrovni CDN se stále zobrazí jako povolený.
• Noví crawlery se objevují často: seznam pokrývá hlavní firmy AI, ne každého bota na webu.

Od otevřených dveří ke skutečným citacím

Otevřený robots.txt citace umožní, ale nevytvoří. Jakmile vás crawlery mohou číst, zjistěte, zda vás ChatGPT skutečně cituje, pomocí kontroly viditelnosti v ChatGPT. Sledování zmínek v AI od Sorank pak každý měsíc sleduje vaše citace v ChatGPT, Gemini a Claude, a generátor blogových článků publikuje stránky, které tyto AI rádi citují. Podívejte se na tarify Sorank, abyste to měli v režimu autopilot.