Robots.txt pro AI crawlery: Co povolit a co blokovat

Rychlý kvíz

Jak se dostat do zmínek v ChatGPT a dalších AI asistentech?

Otázka 1 z 425%

Co chcete zjistit nebo změnit?

Jen zjistit, zda o mé firmě mluví AI asistentiDlouhodobě sledovat ve srovnání s konkurencíBýt zmiňován častěji, počínaje dneškem

Váš robots.txt pro AI crawlery se stal obchodním rozhodnutím, ne jen technickým souborem. Stejný soubor, který kdysi mluvil jen s Googlebotem, dnes rozhoduje o tom, zda ChatGPT, Claude, Perplexity a Gemini mohou číst, citovat a odkazovat na vaše stránky. Samotný formát se nezměnil: je to pořád protokol Robots Exclusion standardizovaný jako RFC 9309, s řádky User-agent, Allow a Disallow. Změnil se počet agentů a fakt, že jeden dodavatel může provozovat několik botů s různými účely.

Jaké AI crawlery existují a co dělají?

Většina dodavatelů AI nyní odděluje trénink, indexaci pro vyhledávání a načítání na žádost uživatele do různých uživatelských agentů. Tabulka shrnuje hlavní z nich podle dokumentace každého dodavatele.

Zdroje: dokumentace crawlerů OpenAI a Googlův seznam běžných crawlerů. Názvy se občas mění, takže než soubor upravíte, zkontrolujte stránku každého dodavatele. Naše hesla ve slovníčku k AI crawlerům a crawlerům OpenAI drží definice stručné.

Měli byste AI crawlery blokovat?

Většině firem, které chtějí zákazníky, ne: tréninkové boty případně blokujte, vyhledávací nechte otevřené. Kompromis závisí na tom, co prodáváte:

• Značky, SaaS, e-commerce, místní firmy: odpovědi AI jsou akviziční kanál. Blokování vyhledávacích crawlerů vás z něj vyřadí. Povolení tréninkových crawlerů také pomáhá budoucím modelům znát vaši značku.
• Vydavatelé žijící ze zobrazení stránek nebo předplatného: blokování tréninkových crawlerů chrání hodnotu obsahu; ponechání vyhledávacích crawlerů otevřených stále přináší citace a odkazy.
• Weby se soukromým nebo licencovaným obsahem: blokujte široce a vynucujte na úrovni serveru, protože robots.txt je žádost, ne řízení přístupu.

Jak vypadá doporučený robots.txt?

Výslovné skupiny pro každého uživatelského agenta, vyhledávací boty povolené a jasná volba pro tréninkové boty. Příklad pro firmu, která chce viditelnost v AI, ale raději nekrmí trénink:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Druhou skupinu odstraňte, pokud souhlasíte s použitím vašeho obsahu k tréninku. Náš bezplatný generátor robots.txt soubor sestaví a kontrola robots.txt ukáže, které agenty živý soubor skutečně povoluje.

Které chyby blokují viditelnost v AI omylem?

Nejčastější je plošné pravidlo zkopírované z fóra. Časté chyby:

• „User-agent: * / Disallow: /“ zůstalo z testovacího prostředí, což blokuje všechny boty včetně Googlebota.
• Blokování OAI-SearchBot, když jste chtěli blokovat GPTBot, což vás vyřadí z vyhledávání ChatGPT místo pouhého tréninku.
• Pravidlo ochrany proti botům v CDN nebo firewallu, které vrací 403 uživatelským agentům AI bez ohledu na robots.txt. Zkontrolujte logy serveru.
• Blokování CSS a JavaScriptu potřebného k vykreslení stránky, takže crawlery vidí prázdnou kostru.
• Důležitý obsah načítaný jen na straně klienta; mnoho AI crawlerů JavaScript nespouští, takže hlavní text dodejte přímo v HTML.

Stačí robots.txt k tomu, aby vás AI citovala?

Ne, pouze otevírá dveře. Jakmile crawlery mohou vaše stránky číst, citace závisí na tom, zda tyto stránky jasně odpovídají na otázky, jsou strukturované pro vytěžení a potvrzují je další zdroje. Čisté strukturované údaje pro vyhledávání AI, sekce, kde odpověď stojí na začátku, a volitelný soubor llms.txt pomohou dalšímu kroku.

Závěr

Berte AI crawlery jako samostatná rozhodnutí: povolte vyhledávací boty a boty pro načítání na žádost, tréninkové boty volte záměrně a ověřte, že váš server uplatňuje stejnou politiku. Pak měřte, zda se otevřené dveře mění v citace. Sorank sleduje vaši značku v ChatGPT, Claude a Gemini každý měsíc a publikuje obsah strukturovaný tak, aby byl citován: začněte s 3denní bezplatnou zkušební verzí.