Shrnutí
Bezplatný generátor robots.txt zapíše soubor, který crawlerům říká, které části vašeho webu smějí navštívit. Vyberte režim (povolit vše, blokovat vše, nebo vlastní), vypište uživatelské agenty a cesty, přidejte adresu mapy webu (sitemap), poté soubor zkopírujte nebo stáhněte a nahrajte do kořene své domény. Pamatujte, že robots.txt řídí procházení, ne indexaci: pokud chcete stránku z Google vyřadit, použijte místo toho noindex.
Chcete jít dál? Zeptejte se
Generátor robots.txt vás ušetří drobných chyb v syntaxi, které omylem zablokují celý web. Soubor se řídí Protokolem vyloučení robotů, který vytvořil Martijn Koster v roce 1994 a který IETF v září 2022 zveřejnil jako internetový standard (RFC 9309, Protokol vyloučení robotů). Každý seriózní crawler jej čte jako první, od Googlebotu po boty ChatGPT, Claude a Perplexity.
Co generátor robots.txt dělá?
Sestavuje platný soubor robots.txt, jak píšete, s živým náhledem vpravo, tlačítkem Kopírovat a tlačítkem Stáhnout, které uloží soubor pojmenovaný robots.txt. Nic se neodesílá na server: soubor vzniká ve vašem prohlížeči.
| Nastavení | Co zapíše | Kdy ho použít |
|---|---|---|
| Povolit vše | User-agent: * a Allow: / | Většina veřejných webů, které před crawlery nic neskrývají |
| Blokovat vše | User-agent: * a Disallow: / | Testovací nebo náhledové weby, které se nesmějí procházet |
| Vlastní | Jeden řádek User-agent pro každého bota, poté vaše cesty Disallow a Allow | Blokování administrace, interního vyhledávání nebo konkrétního bota |
| Adresa mapy webu | Sitemap: https://example.com/sitemap.xml | Vždy, aby každý crawler našel vaši mapu webu |
| Crawl-delay | Crawl-delay: od 1 do 120 sekund | Jen pro boty, které jej podporují, a server, který má potíže |
V vlastním režimu sdílejí všechny uživatelské agenty, které vypíšete, stejná pravidla, a tak standard definuje skupinu. Chcete-li různým botům dát různá pravidla, vygenerujte jednu skupinu najednou a vložte je za sebe do stejného souboru.
Jak krok za krokem vytvořit soubor robots.txt?
- Zvolte režim. Začněte s „Povolit vše“, pokud nemáte důvod něco blokovat.
- Vypište své uživatelské agenty ve vlastním režimu, jeden na řádek:
*pro všechny crawlery, nebo názvy jako Googlebot, Bingbot nebo GPTBot. - Přidejte cesty k blokování (Disallow) a výjimky, které chcete ponechat otevřené (Allow), jeden na řádek, každou začínající lomítkem.
- Vložte adresu mapy webu celou, s https a doménou.
- Zkopírujte nebo stáhněte soubor a nahrajte jej do kořene svého hostingu, aby odpovídal na adrese
https://example.com/robots.txt. - Otestujte jej v ostrém provozu pomocí bezplatné kontroly robots.txt, která načte živý soubor a ukáže stav každého crawleru AI.
Umístění je přísné. Google čte robots.txt jen v kořeni hostitele, web může mít jen jeden a soubor platí jen pro protokol, hostitele a port, na kterém je umístěn: subdoména potřebuje vlastní (Google, vytvoření a odeslání souboru robots.txt).
Kterými pravidly robots.txt se Google řídí?
Google podporuje čtyři pole: user-agent, allow, disallow a sitemap. Jiná pole, jako crawl-delay, nepodporuje (Google, jak Google interpretuje specifikaci robots.txt). Tatáž stránka stanovuje pravidla níže.
| Pravidlo | Jak je Google uplatňuje |
|---|---|
| Nejkonkrétnější pravidlo vyhrává | Když se URL shodují Allow i Disallow, platí pravidlo s nejdelší cestou |
| Shoda mezi pravidly | Když jsou dvě shodující se pravidla stejně konkrétní, Google použije méně omezující |
| Zástupné znaky | * odpovídá libovolné posloupnosti znaků, $ označuje konec URL |
| Velikost písmen | Názvy polí nerozlišují velká a malá písmena, cesty ano: /Admin/ není /admin/ |
| Velikost souboru | Obsah za prvními 500 KiB se ignoruje |
| Mezipaměť | Soubor se obvykle ukládá až na 24 hodin, takže změna není okamžitá |
| Chybějící soubor (4xx) | Bere se, jako by žádná omezení neexistovala: lze procházet vše |
| Chyba serveru (5xx) | Google pozastaví procházení na 12 hodin, poté použije poslední dobrou kopii až 30 dní |
Zde je typický soubor pro online obchod. Blokuje košík, pokladnu a interní vyhledávání, ponechává jednu veřejnou složku otevřenou a uvádí mapu webu.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Odstraní Disallow stránku z Google?
Ne. Robots.txt není nástroj, jak stránku z Google vyřadit. Blokovaná URL se může zaindexovat, pokud na ni odkazují jiné weby, a pak se zobrazí bez popisu (Google, úvod do robots.txt). Chcete-li stránku skrýt, nechte ji Google procházet a přidejte meta značku robots s noindex nebo hlavičku HTTP. Blokování v robots.txt by zároveň zabránilo tomu, aby Google noindex kdy uviděl.
Výsledek stránku po stránce zkontrolujte kontrolou indexovatelnosti, která čte robots.txt, meta robots, X-Robots-Tag a kanonickou adresu dohromady. Slovní zásobu najdete v našich položkách slovníku o robots.txt a procházení a indexaci.
Měli byste v robots.txt blokovat crawlery AI?
Blokujte boty, které trénují modely, pokud chcete, ale ponechte otevřené boty, které pohánějí vyhledávání AI. Hlavní poskytovatelé je nyní oddělují, takže už nemusíte volit mezi ochranou obsahu a citováním.
| Poskytovatel | Trénovací bot | Bot vyhledávání nebo odpovědí | Co blokování bota vyhledávání stojí |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Vaše stránky se nezobrazují v odpovědích vyhledávání ChatGPT |
| Anthropic | ClaudeBot | Claude-SearchBot | Menší viditelnost ve výsledcích vyhledávání Claude |
| Perplexity | Žádný uvedený | PerplexityBot | Vaše stránky se v odpovědích Perplexity nemusí objevit ani na ně nemusí vést odkaz |
| Google-Extended (token, ne samostatný bot) | Googlebot | Google-Extended neovlivňuje Google Search ani pořadí |
Zdroje: přehled crawlerů OpenAI, zásady crawleru Anthropic, crawlery Perplexity a běžné crawlery Google. Chcete-li odmítnout trénink a přitom zůstat citovatelní pro ChatGPT, stačí soubor, který obsahuje jen tyto dva řádky, protože každý jiný bot zůstává ve výchozím stavu povolen:
User-agent: GPTBot Disallow: /
Trend je skutečný: během jediného roku (2023 až 2024) se 28% nebo více nejaktivněji udržovaných zdrojů trénovacího datasetu C4 stalo zcela uzavřenými pro crawlery AI (Longpre a kol., Consent in Crisis, 2024). Než se tím budete řídit, zjistěte, co vás blokování stojí v odpovědích AI: Sledování zmínek v AI od Sorank ukazuje každý měsíc, zda ChatGPT, Claude a Gemini uvádějí vaši značku.
Které chyby v robots.txt nejvíce poškozují SEO?
- Ponechání Disallow: / po spuštění. Soubory z testovacího prostředí se často dostanou do ostrého provozu. Jediný řádek zablokuje každý crawler na celém webu.
- Blokování CSS a JavaScriptu. Pokud chybějící zdroje ztíží pochopení stránky, Google od jejich blokování odrazuje.
- Zapomenuté koncové lomítko.
Disallow: /adminblokuje také/administrationa/admin-guide. Napište/admin/, aby se zablokovala jen složka. - Spoléhání na Crawl-delay u Google. Google jej ignoruje. Anthropic tvrdí, že rozšíření podporuje, takže jej ponechte jen pro boty, které jej čtou.
- Použití robots.txt jako bezpečnostního nástroje. Soubor je veřejný a kdokoli jej může přečíst. Chraňte soukromé oblasti přihlášením, ne řádkem Disallow, který na ně přímo ukazuje.
- Zapomenutá výjimka pro WordPress. Výchozí soubor WordPressu blokuje
/wp-admin/, ale povoluje/wp-admin/admin-ajax.php, který používají funkce na straně webu (referenční příručka pro vývojáře WordPressu).
Jak zkontrolovat robots.txt po publikaci?
Použijte tři kontroly, od nejrychlejší po nejúplnější.
- Otevřete adresu
https://yourdomain.com/robots.txtv prohlížeči. Měl by se zobrazit prostý text, ne HTML stránka ani 404. - Spusťte kontrolu robots.txt a vypište skupiny pravidel, mapy webu, problémy a stav 14 uživatelských agentů AI.
- Otevřete hlášení robots.txt v Search Console. Ukazuje soubory, které Google našel pro 20 nejdůležitějších hostitelů vašeho webu, poslední procházení a varování, a po naléhavé opravě umožní požádat o nové procházení (Nápověda Search Console, hlášení robots.txt).
Poté dokončete nastavení: vygenerujte čistou mapu webu v generátoru XML map webu a soubor llms.txt v generátoru llms.txt, který asistentům AI dá shrnutí vašich klíčových stránek.
Jaké jsou limity vygenerovaného robots.txt?
Generátor zapíše správnou syntaxi, ale nemůže znát váš web. Nekontroluje, zda blokovaná cesta neskrývá stránky, které chcete mít v pořadí, a zapisuje vždy jednu skupinu najednou. Špatní boti soubor zcela ignorují: robots.txt je žádost, ne zeď, takže zablokujte zneužívající provoz na úrovni serveru nebo firewallu. Nakonec protokol pokrývá jen procházení. Stránka načtená na přímý požadavek uživatele, například ChatGPT-User nebo Perplexity-User, se nemusí řídit pravidly robots.txt, jak oba poskytovatelé uvádějí ve své dokumentaci.
Jak svůj web snadno procházet a citovat?
Čistý robots.txt je první krok. Další jsou publikování stránek, které stojí za procházení, a kontrola, zda se crawlery skutečně vracejí.
- Sledujte procházení a návštěvnost v přehledu GEO a SEO, který spojuje Search Console, Analytics a návštěvy z ChatGPT a Perplexity.
- Zjistěte, které weby asistenti AI ve vašem oboru citují, pomocí žebříčku GEO a zjistěte, kde mezi nimi jste.
- Publikujte pravidelně pomocí generátoru blogových článků, aby crawlery vždy našly něco nového.
Dvouminutový robots.txt chrání váš rozpočet procházení a viditelnost v AI zároveň. Vygenerujte si svůj výše, otestujte jej kontrolou a poté se podívejte na tarify Sorank, které udrží váš web procházitelný a citovaný na autopilot.
