Robots.txt: jak řídit procházení webu Googlebotem

Robots.txt je jednoduchý, ale účinný soubor, který řídí, jak vyhledávače procházejí váš web. Nachází se na adrese `https://example.com/robots.txt` a obsahuje pravidla, která určují, jaké stránky a adresáře mohou Google, Bing a další boti procházet. Robots.txt vám pomáhá řídit rozpočet procházení (počet stránek, které Google denně prochází), zabraňuje plýtvání procházením nedůležitých stránek a udržuje soukromý obsah mimo výsledky vyhledávání.

Většina webů má soubor robots.txt, ale mnohé jsou nesprávně nastavené. Chybně nastavený robots.txt může omylem zablokovat důležité stránky a promarnit potenciál v pořadí. Dobře nastavený robots.txt zvyšuje efektivitu procházení a chrání soukromí vašeho webu. Tento průvodce popisuje syntaxi robots.txt, osvědčené postupy a příklady z praxe.

Co je robots.txt a jak ho vyhledávače používají

Robots.txt je standardizovaný textový soubor, který předává vyhledávacím botům pokyny k procházení. Když bot poprvé navštíví váš web, požádá o `/robots.txt` dřív, než cokoli jiného. Robot pravidla načte a řídí se jimi (za předpokladu, že jde o slušného bota).

Dokumentace Google k robots.txt je závazným zdrojem pro tento standard. Formát robots.txt vznikl v roce 1994 a je široce přijímán. Všechny hlavní vyhledávače (Google, Bing, Baidu) robots.txt respektují.

Důležité: robots.txt je doporučení, nikoli firewall. Slušní boti (Google, Bing) pravidla v robots.txt dodržují. Škodliví boti a scrapery je ignorují. Robots.txt používejte k řízení procházení vyhledávači, ne k blokování hackerů nebo scraperů. Pro bezpečnost používejte nástroje na úrovni serveru.

Syntaxe robots.txt a základní pravidla

Robots.txt používá jednoduchou textovou syntaxi. Každé pravidlo má dvě části: User-agent (na kterého bota pravidlo platí) a cesty Disallow (které stránky zablokovat).

Základní příklad:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Tím se všem botům (`*` znamená všechny) zakazuje procházení adresářů `/admin/` a `/staging/`. Řádek Sitemap říká botům, kde najdou vaši sitemap.

User-agent: \* znamená všechny boty. Můžete také určit jednotlivé boty:

`User-agent: Googlebot` platí jen pro bota Google. `User-agent: Bingbot` platí jen pro bota Bing. Můžete mít více sekcí User-agent s různými pravidly.

Disallow: /cesta/ říká botům, aby danou cestu neprocházeli. Disallow: / zablokuje celý web. Disallow: (prázdné) povoluje vše. Pro každý User-agent můžete uvést více pravidel Disallow.

Allow: /cesta/ povoluje procházení konkrétní cesty, i když je nadřazený adresář zakázán. Příklad: Disallow: /temp/ a zároveň Allow: /temp/important/ povolí procházení jen podadresáře /important/.

Běžné vzory v robots.txt

Vzor 1: blokování administrace

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Tím se blokuje procházení administračních, uživatelských a účtových stránek. Tyto stránky obvykle nejsou určeny pro vyhledávače.

Vzor 2: blokování testovacího prostředí

User-agent: *
Disallow: /staging/
Disallow: /test/

Zabraňuje botům v procházení testovacích nebo staging verzí vašeho webu.

Vzor 3: blokování určitých typů souborů

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Zabraňuje botům v procházení PDF a ZIP souborů. To se hodí, pokud máte mnoho PDF, která by se neměla indexovat.

Vzor 4: zpomalení botů, kteří přetěžují server

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Zcela blokuje Ahrefs bota (pokud nechcete, aby váš web procházely SEO nástroje). Zpomalí Semrush bota přidáním 10sekundové prodlevy mezi požadavky. Crawl-delay se hodí u agresivních botů, kteří přetěžují server.

Vzor 5: povolit vše (výchozí stav)

User-agent: *
Disallow:

Toto je výchozí nastavení. Prázdné Disallow znamená povolit vše. Pokud chcete, aby byl veškerý obsah procházitelný, můžete soubor robots.txt úplně vynechat.

Robots.txt vs meta robots noindex

Robots.txt blokuje procházení. Meta robots noindex blokuje indexaci. Slouží k různým účelům.

Robots.txt použijte, když: chcete ušetřit rozpočet procházení, máte duplicitní obsah, který se nemá procházet, máte administrační stránky, na které se boti nemají sahat, nebo chcete zpomalit agresivní boty.

Meta robots noindex použijte, když: chcete, aby se stránka procházela, ale neindexovala (abyste viděli chyby a problémy), chcete zabránit indexaci, ale přesto povolit interní odkazy a procházení, nebo chcete časem stránku odstranit z vyhledávání, ale ponechat ji živou.

Příklad: stránkované URL typu `/products?page=2` lze v robots.txt zablokovat, aby se ušetřil rozpočet procházení (Google obvykle stránkování konsoliduje). Možná ale chcete, aby se procházely, abyste zjistili kanonické vztahy. V takovém případě použijte kanonické značky místo robots.txt.

Řízení rozpočtu procházení pomocí robots.txt

Rozpočet procházení je počet URL, které Google denně prochází na vašem webu. Velké weby s miliony stránek nemohou mít všechny stránky procházené každý den. Google přiděluje rozpočet procházení podle autority vašeho webu a frekvence změn. Rozpočet procházení je omezený. Pokud ho plýtváte na nedůležité stránky, důležité stránky se procházejí méně často.

Rozpočet procházení optimalizujte blokováním stránek, které se nemají procházet: duplicitní obsah, stránkované výsledky vyhledávání, stránky uživatelských účtů a testovací stránky. Každá stránka, kterou zablokujete, dává Google více prostoru na procházení vašeho důležitého obsahu.

Běžné zdroje plýtvání rozpočtem procházení: nekonečné stránkování (filtry produktů vytvářejí neomezený počet URL), duplicitní obsah s různými parametry, identifikátory relací připojené ke každé URL, kalendářové nebo event stránky generující nekonečné množství URL. Tyto vzory blokujte pomocí robots.txt.

Google Search Console zobrazuje statistiky procházení vašeho webu. Sledujte denní požadavky na procházení. Pokud Google opakovaně prochází stejné stránky, aniž by objevil nový obsah, zkontrolujte svůj robots.txt a strategii blokování.

Sitemap v robots.txt

Zařaďte URL své sitemap do robots.txt. Na konec souboru robots.txt přidejte `Sitemap: https://example.com/sitemap.xml`. Tím Google řekněte, kde najde vaši XML sitemap. Pokud máte více souborů sitemap, můžete je uvést všechny.

Příklad:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Uvádět sitemapy v robots.txt je volitelné (sitemapy můžete odeslat i přes Google Search Console), ale je to osvědčený postup.

Testování a ověřování robots.txt

Google Search Console má nástroj pro testování robots.txt. Přejděte na Nastavení > Procházení > Otestovat robots.txt. Zadejte URL a zjistěte, zda ji robots.txt blokuje. Je to neocenitelné pro ověření pravidel před nasazením.

Změny robots.txt vždy testujte před nasazením. Jediná chyba (například `Disallow: /`, které zablokuje celý web) může zničit vaše pozice. Pomocí testeru ověřte, že:

důležité stránky nejsou blokovány, administrační stránky blokovány jsou, vzory duplicitního obsahu jsou blokovány a žádné kritické cesty nejsou omylem zakázány.

Po nasazení robots.txt sledujte zprávu o procházení v Google Search Console, zda nedochází k změnám. Pokud rychlost procházení neočekávaně klesne, možná jste omylem zablokovali důležitý obsah.

Časté chyby u robots.txt

Chyba 1: blokování CSS a JavaScriptu. Pokud v robots.txt zablokujete `/css/` nebo `/js/`, Google nemůže procházet váš CSS a JavaScript. Bez CSS Google nemůže správně vykreslit vaše stránky. Neblokujte CSS ani JavaScript.

Chyba 2: blokování důležitého obsahu. Vždy testujte před nasazením. Překlep jako `Disallow: /p` místo `Disallow: /staging/` může omylem zablokovat `/products/`.

Chyba 3: použití robots.txt k zabezpečení. Nespoléhejte na robots.txt při ochraně citlivých dat. Stránky citlivé na bezpečnost by měly vyžadovat přihlášení, ne jen robots.txt. Robots.txt je veřejný a snadno se obejde.

Chyba 4: nekonzistentní robots.txt napříč doménami. Pokud máte více domén, udržujte jednotné zásady robots.txt. Omylem odlišná pravidla mohou způsobit problémy s efektivitou procházení.

Chyba 5: blokování samotné sitemap. Nikdy v robots.txt neblokujte `/sitemap.xml`. Google musí sitemap procházet, aby objevil stránky.

Pokročilé funkce robots.txt

Crawl-delay a Request-rate: Tyto direktivy zpomalují boty. `Crawl-delay: 10` přidá 10 sekund mezi požadavky. `Request-rate: 1/10` povolí 1 požadavek za 10 sekund. Používejte je u botů, kteří přetěžují váš server. Google doporučuje místo těchto direktiv používat nastavení v Search Console.

Direktiva Allow: Povoluje procházení konkrétní cesty, i když je nadřazená cesta zakázaná. Hodí se pro vytvoření výjimek. Příklad: `Disallow: /temp/` a zároveň `Allow: /temp/keep/` povolí jen podadresář keep.

Specifikace robots.txt od Google dokumentuje všechny podporované direktivy. Většina funkcí se používá zřídka. Pro většinu webů vystačíte se základními User-agent, Disallow a Sitemap.

Pokročilé direktivy robots.txt

Pravidla specifická pro User-agent umožňují různá pravidla pro různé boty. Pravidla můžete zadat zvlášť pro Googlebot, Bingbot a další user-agenty. Hodí se to, když chcete, aby Google procházel celý web, ale Bingu přístup k některým částem omezit. Na začátek každého bloku pravidel uveďte user-agent:

`User-agent: Googlebot` platí pravidla jen pro procházeč Google. `User-agent: *` platí pravidla pro všechny boty. Pravidla platí pro daného user-agenta až do dalšího výskytu direktivy User-agent. Pro různé boty můžete vytvořit více bloků pravidel.

Direktivy Crawl-delay a request-rate říkají botům, jak často mají procházet. `Crawl-delay: 5` říká botu, aby mezi požadavky čekal 5 sekund. To snižuje zátěž serveru. `Request-rate: 1/10` říká botu, aby provedl nejvýše 1 požadavek za 10 sekund. Dokumentace Google k robots.txt podrobně popisuje všechny podporované direktivy.

Direktivy umístění sitemap říkají botům, kde najdou vaši sitemap. `Sitemap: https://example.com/sitemap.xml` ukazuje botům na vaši XML sitemap. Můžete uvést více sitemap. Doporučuje se to, protože pomáhá botům efektivně objevit všechny vaše stránky.

Direktiva Clean-param odstraňuje parametry z URL před procházením. `Clean-param: utm_source&utm_medium https://example.com` říká Google, aby na example.com ignoroval parametry UTM. Brání to tomu, aby Google sledované odkazy bral jako duplicitní obsah. Dnes se to používá méně často, protože Google většinu sledovacích parametrů zpracovává automaticky.

Soubor robots.txt otestujte v nástroji pro testování robots.txt v Google Search Console. Nástroj ukáže, které URL by pro Googlebot robots.txt blokoval. Tím předejdete omylem zablokovaným důležitým stránkám.

Závěr

Robots.txt je jednoduchý, ale zásadní soubor pro řízení procházení vyhledávači a ochranu soukromí vašeho webu. Dobře nastavený robots.txt blokuje nedůležité stránky, šetří rozpočet procházení a brání tomu, aby se duplicitní obsah procházel vícekrát. Chybně nastavený robots.txt může omylem zablokovat důležitý obsah a zničit vaše pozice.

Změny robots.txt vždy testujte před nasazením. Pravidla ověřujte testerem v Google Search Console. Statistiky procházení sledujte každý měsíc. Blokujte nedůležitý obsah a efektivně řiďte rozpočet procházení. Pomocí našeho nástroje GEO SEO audit zkontrolujte nastavení robots.txt a odhalte možné problémy s procházitelností a indexací napříč celým webem.