Robots.txt dla robotów AI: co zezwolić, a co zablokować

Twój robots.txt dla robotów AI stał się decyzją biznesową, a nie tylko plikiem technicznym. Ten sam plik, który kiedyś rozmawiał wyłącznie z Googlebotem, decyduje dziś o tym, czy ChatGPT, Claude, Perplexity i Gemini mogą czytać, cytować i linkować Twoje strony. Sam format się nie zmienił: to nadal Robots Exclusion Protocol ustandaryzowany jako RFC 9309, z user agentami oraz wierszami Allow i Disallow. Zmieniła się liczba agentów i to, że jeden dostawca może prowadzić kilka botów o różnych celach.

Jakie roboty AI istnieją i co robią?

Większość dostawców AI rozdziela dziś trenowanie, indeksowanie wyszukiwania i pobieranie na żądanie użytkownika między różne user agenty. Tabela podsumowuje główne z nich zgodnie z dokumentacją każdego dostawcy.

Źródła: dokumentacja robotów OpenAI oraz lista popularnych robotów Google. Nazwy czasem się zmieniają, więc przed edycją pliku sprawdź stronę każdego dostawcy. Nasze hasła w słowniku o robotach AI i robotach OpenAI utrzymują krótkie definicje.

Czy blokować roboty AI?

Dla większości firm, które chcą pozyskiwać klientów: nie. Zablokuj trenowanie, jeśli musisz, ale roboty wyszukiwania zostaw otwarte. Kompromis zależy od tego, co sprzedajesz:

• Marki, SaaS, e-commerce, firmy lokalne: odpowiedzi AI są kanałem pozyskiwania. Zablokowanie robotów wyszukiwania Cię z niego usuwa. Zezwolenie robotom trenującym pomaga też przyszłym modelom poznać Twoją markę.
• Wydawcy żyjący z odsłon lub subskrypcji: blokowanie robotów trenujących chroni wartość treści; pozostawienie otwartych robotów wyszukiwania nadal przynosi cytowania i linki.
• Witryny z treściami prywatnymi lub licencjonowanymi: blokuj szeroko i egzekwuj to na poziomie serwera, ponieważ robots.txt jest prośbą, a nie kontrolą dostępu.

Jak wygląda zalecany robots.txt?

Jawne grupy dla każdego user agenta, z dozwolonymi botami wyszukiwania i wyraźnym wyborem dla botów trenujących. Przykład dla firmy, która chce widoczności w AI, ale woli nie zasilać danych treningowych:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Usuń drugą grupę, jeśli nie masz nic przeciwko wykorzystaniu Twoich treści do trenowania. Nasz darmowy generator robots.txt buduje plik, a sprawdzacz robots.txt pokazuje, którym agentom działający plik faktycznie zezwala.

Jakie błędy przypadkowo blokują widoczność w AI?

Najczęstszym jest zbiorcza reguła skopiowana z forum. Częste błędy:

• „User-agent: * / Disallow: /” pozostawione po wersji testowej, co blokuje każdego bota, w tym Googlebota.
• Zablokowanie OAI-SearchBot zamiast GPTBot, co usuwa Cię z wyszukiwania ChatGPT, a nie tylko z trenowania.
• Reguła ochrony przed botami w CDN lub zaporze, która zwraca 403 user agentom AI niezależnie od robots.txt. Sprawdź logi serwera.
• Blokowanie CSS i JavaScriptu potrzebnych do wyrenderowania strony, przez co roboty widzą pustą powłokę.
• Ważna treść ładowana wyłącznie po stronie klienta; wiele robotów AI nie wykonuje JavaScriptu, więc główny tekst umieść w HTML.

Czy robots.txt wystarczy, by być cytowanym?

Nie, on tylko otwiera drzwi. Gdy roboty mogą czytać Twoje strony, o cytowaniu decyduje to, czy te strony jasno odpowiadają na pytania, są ustrukturyzowane do wyodrębniania treści i potwierdzone przez inne źródła. Czyste dane strukturalne dla wyszukiwania AI, sekcje zaczynające się od odpowiedzi i opcjonalny plik llms.txt pomagają w następnym kroku.

Podsumowanie

Traktuj roboty AI jako osobne decyzje: otwórz boty wyszukiwania i pobierania na żądanie użytkownika, świadomie wybierz w przypadku botów trenujących i sprawdź, czy Twój serwer stosuje tę samą politykę. Potem zmierz, czy otwarte drzwi zamieniają się w cytowania. Sorank co tydzień śledzi Twoją markę w ChatGPT, Claude i Gemini i publikuje treści ustrukturyzowane tak, by były cytowane: zacznij od 3-dniowego darmowego okresu próbnego.