Robots.txt dla robotów AI: user agenty OpenAI, Anthropic,
Perplexity i Google, co robi każdy z nich oraz konfiguracja, dzięki której nadal jesteś cytowany.

Na tej stronie
W skrócie
aby pozostać widocznym w odpowiedziach AI, zezwól robotom wyszukiwania i robotom pobierającym strony na żądanie użytkownika (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User i Googlebot), a osobno zdecyduj, czy zezwolić robotom trenującym modele (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot). Zablokowanie bota trenującego nie usuwa Cię z wyszukiwania AI; zablokowanie bota wyszukiwania zwykle tak. Każda reguła trafia do pliku robots.txt pod dokładną nazwą user agenta, którą podaje dostawca.
Chcesz dowiedzieć się więcej? Zapytaj
Szybki quiz
Jak sprawić, by ChatGPT i inne AI o Tobie wspominały?
Sorank pasuje do Twoich odpowiedzi
Przetestuj go przez 3 dni na swojej stronie i zobacz, na czym stoisz w Google, ChatGPT i innych AI.
Wypróbuj 3 dni za darmo3 dni za darmo, potem rezygnujesz, kiedy chcesz. 90-dniowa gwarancja wyników, obowiązują warunki.
Twój robots.txt dla robotów AI stał się decyzją biznesową, a nie tylko plikiem technicznym. Ten sam plik, który kiedyś rozmawiał wyłącznie z Googlebotem, decyduje dziś o tym, czy ChatGPT, Claude, Perplexity i Gemini mogą czytać, cytować i linkować Twoje strony. Sam format się nie zmienił: to nadal Robots Exclusion Protocol ustandaryzowany jako RFC 9309, z user agentami oraz wierszami Allow i Disallow. Zmieniła się liczba agentów i to, że jeden dostawca może prowadzić kilka botów o różnych celach.
Większość dostawców AI rozdziela dziś trenowanie, indeksowanie wyszukiwania i pobieranie na żądanie użytkownika między różne user agenty. Tabela podsumowuje główne z nich zgodnie z dokumentacją każdego dostawcy.
| Dostawca | User agent | Cel | Skutek zablokowania |
|---|---|---|---|
| OpenAI | GPTBot | Dane treningowe dla modeli OpenAI | Treść nie jest używana do przyszłego trenowania |
| OpenAI | OAI-SearchBot | Indeksowanie dla wyszukiwania ChatGPT | Strony mogą nie pojawiać się jako cytowane wyniki w wyszukiwaniu ChatGPT |
| OpenAI | ChatGPT-User | Strony pobierane, gdy użytkownik prosi ChatGPT o ich odwiedzenie | ChatGPT nie może otworzyć Twojej strony na żądanie |
| Anthropic | ClaudeBot | Dane treningowe dla modeli Claude | Treść nie jest używana do przyszłego trenowania |
| Anthropic | Claude-SearchBot, Claude-User | Jakość wyszukiwania i pobieranie na żądanie użytkownika | Mniejsza widoczność w odpowiedziach Claude, które przeszukują sieć |
| Perplexity | PerplexityBot, Perplexity-User | Indeks wyszukiwania i pobieranie na żądanie użytkownika | Mniejsza szansa na cytowanie w Perplexity |
| Googlebot | Wyszukiwarka Google, w tym AI Overviews i Tryb AI | Całkowite usunięcie z wyszukiwarki | |
| Google-Extended (token) | Wykorzystanie treści w modelach Gemini i do ugruntowania poza wyszukiwarką | Brak wpływu na pozycje w wyszukiwarce | |
| Apple | Applebot-Extended (token) | Wykorzystanie treści w generatywnych modelach Apple | Applebot nadal może skanować dla Siri i Spotlight |
| Common Crawl | CCBot | Otwarte archiwum sieci wykorzystywane w wielu zbiorach danych AI | Treści brak w przyszłych skanach archiwum |
Źródła: dokumentacja robotów OpenAI oraz lista popularnych robotów Google. Nazwy czasem się zmieniają, więc przed edycją pliku sprawdź stronę każdego dostawcy. Nasze hasła w słowniku o robotach AI i robotach OpenAI utrzymują krótkie definicje.
Dla większości firm, które chcą pozyskiwać klientów: nie. Zablokuj trenowanie, jeśli musisz, ale roboty wyszukiwania zostaw otwarte. Kompromis zależy od tego, co sprzedajesz:
Jawne grupy dla każdego user agenta, z dozwolonymi botami wyszukiwania i wyraźnym wyborem dla botów trenujących. Przykład dla firmy, która chce widoczności w AI, ale woli nie zasilać danych treningowych:
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml
Usuń drugą grupę, jeśli nie masz nic przeciwko wykorzystaniu Twoich treści do trenowania. Nasz darmowy generator robots.txt buduje plik, a sprawdzacz robots.txt pokazuje, którym agentom działający plik faktycznie zezwala.
Najczęstszym jest zbiorcza reguła skopiowana z forum. Częste błędy:
Nie, on tylko otwiera drzwi. Gdy roboty mogą czytać Twoje strony, o cytowaniu decyduje to, czy te strony jasno odpowiadają na pytania, są ustrukturyzowane do wyodrębniania treści i potwierdzone przez inne źródła. Czyste dane strukturalne dla wyszukiwania AI, sekcje zaczynające się od odpowiedzi i opcjonalny plik llms.txt pomagają w następnym kroku.
Traktuj roboty AI jako osobne decyzje: otwórz boty wyszukiwania i pobierania na żądanie użytkownika, świadomie wybierz w przypadku botów trenujących i sprawdź, czy Twój serwer stosuje tę samą politykę. Potem zmierz, czy otwarte drzwi zamieniają się w cytowania. Sorank co miesiąc śledzi Twoją markę w ChatGPT, Claude i Gemini i publikuje treści ustrukturyzowane tak, by były cytowane: zacznij od 3-dniowego darmowego okresu próbnego.
Nie samo w sobie. GPTBot zbiera dane do trenowania modeli OpenAI. Wyszukiwanie ChatGPT opiera się na innym robocie, OAI-SearchBot, oraz na ChatGPT-User dla stron, które użytkownik prosi o otwarcie. Zablokowanie samego GPTBot ogranicza użycie do trenowania, a Twoje strony nadal mogą pojawiać się i być linkowane w wyszukiwaniu ChatGPT.
Nie. Google-Extended to token robots.txt, a nie osobny robot, i Google stwierdza, że nie wpływa on na uwzględnienie ani pozycje w wyszukiwarce Google. AI Overviews i Tryb AI są częścią wyszukiwarki i używają Googlebota. Google-Extended kontroluje, czy Twoje treści są używane w modelach Gemini i do ugruntowania poza wyszukiwarką.
Najwięksi dostawcy dokumentują swoje user agenty i deklarują, że ich roboty przestrzegają robots.txt, z niuansami dla pobrań wywołanych bezpośrednio przez użytkownika. Zgłaszano, że niektóre mniej przejrzyste boty go ignorują. Dla ścisłego egzekwowania połącz robots.txt z regułami serwera lub zapory opartymi na user agencie i opublikowanych zakresach adresów IP.
