Shrnutí
Bezplatná kontrola robots.txt načte aktuální soubor robots.txt libovolné domény a ukáže jeho skupiny pravidel, sitemapy, nalezené problémy a stav 14 AI crawlerů (povoleno, částečně nebo blokováno), od GPTBot a OAI-SearchBot po ClaudeBot, PerplexityBot a Google-Extended. Použijte ji po každé změně souboru a vždy, když vaše stránky přestanou být vidět v Google nebo v odpovědích AI.
Chcete jít dál? Zeptejte se
Kontrola robots.txt odhalí řádek, který tiše zablokuje celý web. Robots.txt je veřejný standard (RFC 9309), který každý hlavní crawler přečte dřív, než na web vstoupí, a crawlery AI rozšířily počet robotů, se kterými soubor musí počítat. Mezi květnem 2024 a květnem 2025 vzrostl podíl GPTBotu na provozu AI crawlerů z 5% na 30% a Meta-ExternalAgent dosáhl 19% (Cloudflare, kdo prochází váš web v roce 2025). Váš soubor musí každému z nich říct něco rozumného.
Co ukazuje kontrola robots.txt?
Zadejte doménu, nástroj stáhne https://yourdomain/robots.txt, sleduje přesměrování, soubor rozebere a vrátí pět bloků.
| Blok | Co zobrazuje | Na co se zaměřit |
|---|---|---|
| Skupiny pravidel | Kolik skupin User-agent soubor obsahuje | Nula znamená, že syntaxi nešlo přečíst |
| Sitemapy | Každý nalezený řádek Sitemap | Alespoň jednu úplnou URL vaší sitemapy |
| Blokovaní AI boti | Kolik ze 14 AI crawlerů je plně blokováno | Jen ty, které jste se rozhodli blokovat |
| Problémy | Zjištěné potíže s doporučením | Nula, nebo jen vědomá rozhodnutí |
| Surový soubor | Robots.txt tak, jak je servírován | Že jde o soubor, který jste skutečně nahráli |
Pokud doména nemá soubor robots.txt nebo vrátí místo prostého textu HTML stránku, nástroj to oznámí a doporučí jej přidat. Bezplatná verze běží 3 kontroly denně.
Jak kontrola pozná, že je AI bot blokován?
Pro každého ze 14 AI crawlerů nástroj hledá skupinu, která bota jmenuje. Pokud žádná není, použije skupinu User-agent: *. Potom uplatní tři stavy.
| Stav | Pravidlo nalezené ve skupině | Co to znamená |
|---|---|---|
| Povoleno | Žádná skupina se neuplatní, nebo skupina nemá pravidlo Disallow | Bot může procházet celý web |
| Částečně | Pravidla Disallow jen pro některé cesty | Bot může procházet web kromě těchto cest |
| Blokováno | Disallow: / bez Allow: / | Bot má zůstat mimo celý web |
Kontrolované crawlery jsou GPTBot, OAI-SearchBot a ChatGPT-User (OpenAI), ClaudeBot, Claude-Web a anthropic-ai (Anthropic), PerplexityBot a Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) a Meta-ExternalAgent. Tabulka u každého bota ukazuje také poskytovatele a účel, takže na první pohled vidíte, zda blokujete trénink, vyhledávání, nebo načítání stránek v reálném čase.
Které AI crawlery byste měli povolit?
Povolte crawlery, které dávají vaše stránky do odpovědí AI vyhledávání. Blokovat trénovací crawlery je obchodní volba, blokovat vyhledávací crawlery je obvykle chyba.
- OAI-SearchBot: weby, které odmítnou, se neobjeví v odpovědích vyhledávání ChatGPT. GPTBot se týká jen trénování modelů a obě nastavení jsou nezávislá (Přehled crawlerů OpenAI).
- PerplexityBot: zobrazuje a odkazuje weby ve výsledcích Perplexity a nepoužívá se k trénování základních modelů (Crawlery Perplexity).
- Google-Extended: token pro trénink a ukotvení Gemini, který neovlivňuje zařazení do Google Search ani pozice ve výsledcích (Běžní crawlery Google).
- Anthropic: ClaudeBot sbírá data pro trénink, zatímco Claude-SearchBot a Claude-User slouží vyhledávání a požadavkům uživatelů. Jejich blokování může snížit vaši viditelnost v Claude (Zásady crawleru Anthropic).
Většina webů se nikdy nerozhodne. Dne 6. června 2025 mělo jen přibližně 14% z 10000 nejnavštěvovanějších domén se souborem robots.txt pravidla cílící na AI boty. GPTBot byl přitom nejčastěji blokovaný (312 domén) i nejčastěji výslovně povolený (61 domén), podle téže studie Cloudflare. Boti, které soubor nejmenuje, jsou povoleni automaticky.
Co znamenají nejčastější problémy?
| Hlášený problém | Proč na tom záleží | Oprava |
|---|---|---|
| User-agent: * je blokován pro celý web | Každý crawler bez vlastní skupiny, včetně Googlebotu, je požádán, aby zůstal mimo | Odstraňte Disallow: / ze skupiny *, pokud nejde o testovací kopii |
| Chybí direktiva Sitemap | Crawlery, kterým jste sitemapu nenahlásili, například Bing nebo crawlery AI, ji nemusí najít | Přidejte Sitemap: https://yourdomain/sitemap.xml |
| Pojmenovaný AI bot je blokován | Tento poskytovatel nebude procházet vaše stránky | Ponechte jen tehdy, když je blokování tohoto bota vědomé rozhodnutí |
| Nenalezena žádná skupina User-agent | Soubor nemá platné pravidlo, takže nic neomezuje | Zkontrolujte syntaxi: Pole: hodnota, jedno pravidlo na řádek |
| Soubor robots.txt nebyl nalezen | Sám o sobě to není chyba: Google pak prochází vše | Přesto soubor přidejte, aby hlásil sitemapu a vaše volby pro AI crawlery |
Chybějící nebo rozbitý soubor řeší Google podle stavu HTTP odlišně. Odpověď 4xx (kromě 429) znamená, že žádná omezení nejsou. Odpověď 5xx je brána jako chyba serveru: Google na 12 hodin pozastaví procházení a pak až 30 dní používá poslední funkční kopii (Google, jak Google vykládá specifikaci robots.txt). Soubor robots.txt, který trvale selhává chybami serveru, může proto zmrazit procházení zdravého webu.
Jak krok za krokem opravit problém s robots.txt?
- Přečtěte surový soubor v přehledu a ověřte, co je skutečně online. Cache CDN a testovací nasazení často servírují starou verzi.
- Přepište soubor pomocí generátoru robots.txt, který vytvoří čisté skupiny, pravidla Allow a Disallow a řádek Sitemap.
- Nahrajte jej do kořene každé hostitelské domény. Subdoména jako blog.example.com potřebuje vlastní soubor.
- Spusťte kontrolu znovu a ověřte, že se stavy změnily.
- Dejte vědět Googlu, pokud je oprava naléhavá. Zpráva o robots.txt v Search Console ukazuje soubory, které Google našel pro vašich 20 hlavních hostitelů, a umožňuje vyžádat nové procházení (Nápověda Search Console, zpráva o robots.txt). Jinak Google obnoví svou uloženou kopii zhruba za 24 hodin.
Pak zkontrolujte samotné stránky. Stránka povolená v robots.txt může být přesto z indexu vyřazena značkou noindex nebo kanonickou adresou, která ukazuje jinam: kontrola indexovatelnosti ověří všechny tyto případy u jedné URL. Pro přehled na úrovni celého webu, co mohou AI crawlery číst, spusťte audit procházitelnosti pro AI.
Jaké jsou limity kontroly robots.txt?
- Stavy jsou shrnuty podle bota, ne podle URL. „Částečně“ říká, že některé cesty jsou uzavřené, pravidla si přečtěte, abyste viděli které.
- Jedna skupina na bota. Pokud jste pravidla pro stejného bota rozdělili do více skupin, Google je spojí. V tom případě si přečtěte surový soubor.
- Jen kořenová doména. Nástroj čte soubor domény, kterou zadáte, bez www, a sleduje přesměrování. Každou subdoménu kontrolujte zvlášť.
- Seznam 14 botů. Novější user-agenti jako Claude-SearchBot a Claude-User zatím v tabulce nejsou, hledejte je v surovém souboru.
- Robots.txt je žádost. Seriózní crawlery se jím řídí, zneužívající ne. Stahování vyvolaná uživatelem, jako ChatGPT-User nebo Perplexity-User, se jím nemusí řídit, jak dokumentují OpenAI i Perplexity.
Pojmy za těmito kontrolami najdete v našem slovníku v heslech robots.txt a crawlery AI.
Jak zajistit, že vás asistenti AI najdou a budou citovat?
Otevřený robots.txt je podmínka, ne výsledek. Jakmile crawlery mohou váš web číst, změřte, zda ho asistenti AI skutečně používají.
- Sledujte svou značku v odpovědích AI pomocí sledování zmínek v AI od Sorank, které každý měsíc kontroluje, zda vás ChatGPT, Claude a Gemini jmenují a které zdroje citují.
- Sledujte návštěvy z AI vedle kliků z Googlu v přehledu GEO a SEO.
- Dávejte crawlerům čerstvé stránky s plánovačem blogu, který naplní váš kalendář a publikuje podle plánu.
Jeden špatný řádek v robots.txt může skrýt web před Googlem i před každým asistentem AI najednou. Zkontrolujte svůj soubor výše po každé změně a poté se podívejte na tarify Sorank, kde můžete sledovat procházitelnost a viditelnost v AI v režimu autopilot.
