Blokováno souborem robots.txt: co znamená stav v Search Console a jak ho opravit

Stav blokováno souborem robots.txt se objevuje v přehledu indexování stránek v Google Search Console, mezi důvody, proč stránky nejsou indexovány. Vlastní dokumentace přehledu indexování stránek od Googlu to popisuje jednou větou: stránka byla blokována souborem robots.txt vašeho webu. Za touto větou se skrývají dvě velmi odlišné situace, záměrné blokování a nechtěné, a k tomu matoucí příbuzný stav „Indexováno, i když je blokováno souborem robots.txt“. Tento návod ukazuje, jak je rozlišit a opravit každou, aniž se rozbije něco dalšího. Pokud soubor sám neznáte, začněte naší definicí robots.txt.

Co znamená „Blokováno souborem robots.txt“ v Search Console?

Soubor robots.txt leží v kořeni hostitele (example.com/robots.txt) a říká prohledávačům, které cesty smějí stáhnout. Když Googlebot najde URL, přes odkaz nebo mapu webu, nejprve tento soubor zkontroluje. Pokud pravidlo Disallow odpovídá cestě pro jeho uživatelského agenta, stránku nestáhne. Search Console pak URL uvede pod hlášením „Blokováno souborem robots.txt“.

Z toho plynou dva důsledky. Google nevidí obsah, titulek, interní odkazy ani žádnou meta značku na stránce. A protože ji nikdy nečte, nevidí ani značku noindex. Stav je uveden jako důvod neindexace, takže u většiny webů je informativní: sám Google poznamenává, že URL blokované souborem robots.txt jsou pravděpodobně blokovány záměrně.

Problém začíná, když seznam obsahuje stránky, které chcete v Googlu mít: stránky produktů, články, stránky kategorií, nebo celý web po migraci. V takovém případě je blokování přímou příčinou toho, že web se na Googlu nezobrazuje, a patří k technickým problémům, které se dají opravit nejrychleji.

„Blokováno souborem robots.txt“, nebo „Indexováno, i když je blokováno souborem robots.txt“?

Druhý stav vypadá protimluvně a provozovatele webů znepokojuje nejvíce. Úvod k robots.txt od Googlu to vysvětluje: robots.txt není nástroj, jak udržet stránku mimo Google. Pokud na zakázanou URL odkazují jiné stránky, může Google samotnou URL zaindexovat, aniž by ji prohledal. Výsledek pak ukazuje adresu bez popisu, protože Google text nikdy nečetl.

Klíčové je nejprve rozhodnout, co chcete u každé URL: indexovat, nebo neindexovat. Robots.txt odpovídá na jinou otázku (prohledat, nebo neprohledat), a právě záměna obou je zdrojem většiny chyb.

Proč jsou vaše stránky blokovány souborem robots.txt?

Většina nechtěných blokování pochází z několika málo příčin. Kontrolujte je v tomto pořadí:

• Pravidlo z testovacího prostředí nasazené na ostrý web. Disallow: / chrání testovací web, pak se dostane do ostré verze se spuštěním a zablokuje všechno.
• Nastavení v CMS. WordPress má volbu „Odradit vyhledávače od indexování tohoto webu“; jiné platformy mají ekvivalentní přepínače, které upravují robots.txt nebo přidávají hlavičky.
• Pravidlo širší, než bylo zamýšleno. Disallow: /p zablokuje /products/ i /pricing/, ale také /p/. Pravidla robots.txt se shodují se začátkem cesty.
• Zástupné znaky. * odpovídá libovolné posloupnosti znaků a $ označuje konec URL. Disallow: /*? zablokuje každou URL s parametrem, což může zahrnovat stránkování nebo filtrované stránky, které chcete indexovat.
• Zablokované zdroje. Blokování /assets/ nebo /wp-includes/ skryje CSS a JavaScript, které Google potřebuje k vykreslení stránky, a zhorší to, jak chápe váš obsah.
• Migrace. Cesty se změní, zůstane starý robots.txt, nebo nový hostitel poslouží svůj výchozí soubor.
• Špatný hostitel. Každá subdoména a protokol má vlastní soubor: pravidla na www.example.com se neuplatní na shop.example.com.

Pamatujte, že Google se řídí nejkonkrétnějším pravidlem (nejdelší odpovídající cestou), a když mají Allow a Disallow stejnou konkrétnost, vyhraje méně omezující. Cílené Allow: /blog/ proto může znovu otevřít složku pod širším blokováním.

Jak krok za krokem opravit „Blokováno souborem robots.txt“

1. Exportujte dotčené URL

V Google Search Console otevřete Indexování, pak Stránky, a klikněte na řádek „Blokováno souborem robots.txt“. Exportujte seznam a seřaďte ho podle složky. Obvykle během minuty uvidíte vzorec: jeden adresář, jeden parametr, jednu subdoménu.

2. Oddělte záměrná blokování od chyb

Každý vzorec označte jako „ponechat blokované“, nebo „má být v Googlu“. Košíky, pokladny, stránky účtů, výsledky interního vyhledávání a administrační sekce patří do první skupiny. Cokoli, co odpovídá na hledaný dotaz, získává odkazy nebo se objevuje ve vaší XML mapě webu, patří do druhé. URL, která je v mapě webu a zároveň blokovaná, je rozpor, který je třeba vyřešit.

3. Najděte odpovídající pravidlo

Otevřete nástroj Kontrola URL u jedné ukázkové URL: ukáže, zda je prohledávání povoleno. Pak si přečtěte živý soubor, nebo vložte URL do našeho bezplatného kontrolního nástroje pro robots.txt, abyste viděli, který řádek ji blokuje a pro kterého uživatelského agenta.

4. Upravte soubor

Pravidlo odstraňte, nebo zúžte, případně přidejte konkrétnější Allow. Změnu udržujte co nejmenší a otestujte ji na URL, kterou chcete odblokovat, i na URL, která musí zůstat blokovaná. Pokud je soubor nepřehledný, vytvořte čistý pomocí našeho generátoru robots.txt a před zveřejněním ho porovnejte.

5. Přimějte Google načíst nový soubor

Podle své specifikace robots.txt Google obvykle ukládá soubor do mezipaměti až na 24 hodin. Pro urychlení otevřete Nastavení, pak přehled robots.txt v Search Console (dostupné u vlastností na úrovni domény), a u souboru použijte „Požádat o nové prohledání“. Poté v Kontrole URL požádejte o indexaci nejdůležitějších odblokovaných URL.

6. Ověřte a sledujte

Na stránce problému klikněte na „Ověřit opravu“. Ověření může trvat několik dnů až několik týdnů a nové URL se kontrolují, jak je Google znovu prohledává. Náš návod k indexaci Googlem popisuje, co se děje po prohledání, až Google rozhodne, zda stránka stojí za to si ji ponechat.

Jak opravit „Indexováno, i když je blokováno souborem robots.txt“

Oprava závisí na tom, co u stránky chcete:

1. Chcete stránku v Googlu. Odstraňte blokování. Google stránku prohledá, přečte její obsah a zobrazí běžný výsledek s titulkem a popisem.
2. Nechcete stránku v Googlu. Blokování také odstraňte, a pak přidejte <meta name="robots" content="noindex"> do hlavičky, nebo hlavičku HTTP X-Robots-Tag: noindex u PDF a dalších souborů. Jakmile Google stránku znovu prohledá a vyřadí ji, můžete ji znovu zablokovat, pokud záleží na objemu prohledávání, i když většina webů to nikdy nepotřebuje. Naše definice noindex vysvětluje možnosti.
3. Stránka by neměla existovat veřejně. Chraňte ji heslem, nebo ji odstraňte (404 nebo 410). Ani robots.txt, ani noindex nejsou bezpečnostní opatření.

U fasetové navigace s tisíci filtrovanými URL může zůstat blokování v robots.txt správným nástrojem, jak ušetřit rozpočet prohledávání. Upozornění „Indexováno, i když je blokováno“ u několika těchto URL je pak přijatelné, pokud jsou kanonické verze vašich kategorií prohledatelné a zaindexované.

Jak zjistit, že oprava funguje

Tři signály potvrzují úspěšnou opravu. Kontrola URL u živé adresy ukáže „Procházení povoleno: Ano“. Počet blokovaných stránek v přehledu indexování stránek v následujících týdnech klesá. A odblokované stránky začnou sbírat zobrazení v přehledu Výkon. Rychlá kontrola naším kontrolním nástrojem indexovatelnosti také odhalí další překážky, které se často pojí s chybami v robots.txt: zbloudilý noindex, špatnou kanonickou adresu nebo přesměrování.

Sledování je důležité, protože tyto chyby se vracejí. Aktualizace šablony, zásuvný modul nebo nasazovací skript může přepsat robots.txt, aniž si toho kdokoli všimne. Nejrychlejším včasným varováním je sledování stránek, jejichž kliknutí a zobrazení náhle klesnou.

Panel Sorank pro GEO a SEO se připojí k Search Console a ukazuje tyto rostoucí a klesající stránky na jednom místě, takže blokování zavedené nasazením se objeví jako shluk klesajících URL, a ne jako pomalá, nevysvětlená ztráta.

Robots.txt, roboti AI a GEO

Soubor robots.txt má nyní druhé publikum: prohledávače asistentů AI. OpenAI, Anthropic, Perplexity a Google zveřejňují uživatelské agenty (GPTBot a OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended), kteří se řídí robots.txt. Pravidlo určené pro jednoho z nich, nebo plošné blokování User-agent: *, rozhoduje o tom, zda mohou ChatGPT, Claude nebo Perplexity číst vaše stránky, když hledají na webu, aby sestavily odpověď.

Platí stejná logika jako u Googlu: u každého robota rozhodněte, co chcete. Běžným kompromisem je blokovat roboty pro trénování a povolit vyhledávací roboty; náš návod k robots.txt pro roboty AI uvádí uživatelské agenty a pravidla pro každého z nich. Heslo roboti AI ve slovníku vysvětluje, co který robot dělá.

Abyste viděli dopad těchto voleb, sledujte dotazy, na kterých vašemu podnikání záleží. Sledování zmínek v AI v Sorank ukazuje, zda ChatGPT, Gemini nebo Claude citují váš web, a které konkurenty citují místo něj.

Pravidlo, které si zapamatujte

Robots.txt rozhoduje, co mohou prohledávače číst; noindex rozhoduje, co se smí ve výsledcích vyhledávání zobrazit. Blokování ponechte pro oblasti bez hodnoty pro vyhledávání, nikdy neblokujte stránku, kterou chcete indexovat nebo vyřadit z indexu, a po každé migraci nebo nasazení kontrolujte přehled indexování stránek. Většinu problémů „blokováno souborem robots.txt“ lze opravit během minut, jakmile najdete odpovídající pravidlo, a panel Sorank pro Search Console vám pomůže zachytit ten další dřív, než stojí návštěvnost.