Podsumowanie
darmowy generator robots.txt pisze plik, który mówi robotom, które części Twojej witryny mogą odwiedzać. Wybierz tryb (zezwól na wszystko, zablokuj wszystko lub własny), wypisz swoje user-agenty i ścieżki, dodaj adres URL mapy witryny, a potem skopiuj lub pobierz plik i wgraj go do katalogu głównego domeny. Pamiętaj, że robots.txt kontroluje przeszukiwanie, a nie indeksowanie: aby wykluczyć stronę z Google, użyj zamiast tego noindex.
Chcesz dowiedzieć się więcej? Zapytaj
Generator robots.txt chroni przed drobnymi błędami składni, które przypadkiem blokują całą witrynę. Plik opiera się na protokole Robots Exclusion Protocol, stworzonym przez Martijna Kostera w 1994 roku i opublikowanym jako standard internetowy przez IETF we wrześniu 2022 roku (RFC 9309, Robots Exclusion Protocol). Każdy poważny robot czyta go jako pierwszy, od Googlebota po boty ChatGPT, Claude i Perplexity.
Co robi generator robots.txt?
Buduje poprawny plik robots.txt w trakcie pisania, z podglądem na żywo po prawej stronie, przyciskiem Kopiuj i przyciskiem Pobierz, który zapisuje plik o nazwie robots.txt. Nic nie jest wysyłane na serwer: plik powstaje w Twojej przeglądarce.
| Ustawienie | Co zapisuje | Kiedy użyć |
|---|---|---|
| Zezwól na wszystko | User-agent: * i Allow: / | Większość stron publicznych, które nie mają nic do ukrycia przed robotami |
| Zablokuj wszystko | User-agent: * i Disallow: / | Strony testowe lub podglądowe, które nie mogą być przeszukiwane |
| Własny | Jedna linia User-agent na bota, potem Twoje ścieżki Disallow i Allow | Blokowanie paneli administracyjnych, wyszukiwarki wewnętrznej lub konkretnego bota |
| Adres URL mapy witryny | Sitemap: https://example.com/sitemap.xml | Zawsze, aby każdy robot znalazł Twoją mapę witryny |
| Crawl-delay | Crawl-delay: od 1 do 120 sekund | Tylko dla botów, które go obsługują, i serwera, który sobie nie radzi |
W trybie własnym wszystkie wypisane user-agenty dzielą te same reguły, tak jak standard definiuje grupę. Aby dać różnym botom różne reguły, generuj jedną grupę naraz i wklejaj je jedna po drugiej do tego samego pliku.
Jak krok po kroku stworzyć plik robots.txt?
- Wybierz tryb. Zacznij od „Zezwól na wszystko”, chyba że masz powód, by coś zablokować.
- Wypisz swoje user-agenty w trybie własnym, po jednym w linii:
*dla wszystkich robotów albo nazwy takie jak Googlebot, Bingbot lub GPTBot. - Dodaj ścieżki do zablokowania (Disallow) i wyjątki do pozostawienia otwartych (Allow), po jednej w linii, każda zaczynająca się od ukośnika.
- Wklej adres URL mapy witryny w całości, z https i domeną.
- Skopiuj lub pobierz plik i wgraj go do katalogu głównego hosta, tak aby odpowiadał pod adresem
https://example.com/robots.txt. - Przetestuj go na produkcji za pomocą darmowego narzędzia do sprawdzania robots.txt, które odczytuje plik na żywo i pokazuje status każdego robota AI.
Lokalizacja jest ściśle określona. Google czyta tylko plik robots.txt w katalogu głównym hosta, witryna może mieć tylko jeden, a plik dotyczy wyłącznie protokołu, hosta i portu, pod którym jest umieszczony: subdomena potrzebuje własnego (Google, create and submit a robots.txt file).
Jakich reguł robots.txt przestrzega Google?
Google obsługuje cztery pola: user-agent, allow, disallow i sitemap. Inne pola, takie jak crawl-delay, nie są obsługiwane (Google, how Google interprets the robots.txt specification). Ta sama strona ustala poniższe reguły.
| Reguła | Jak stosuje ją Google |
|---|---|
| Wygrywa najbardziej szczegółowa reguła | Gdy Allow i Disallow pasują do adresu URL, obowiązuje reguła z najdłuższą ścieżką |
| Remis między regułami | Gdy dwie pasujące reguły są równie szczegółowe, Google używa mniej restrykcyjnej |
| Symbole wieloznaczne | * pasuje do dowolnej sekwencji znaków, $ oznacza koniec adresu URL |
| Wielkość liter | Nazwy pól nie rozróżniają wielkości liter, ale ścieżki tak: /Admin/ to nie /admin/ |
| Rozmiar pliku | Treść po pierwszych 500 KiB jest ignorowana |
| Pamięć podręczna | Plik jest zwykle buforowany do 24 godzin, więc zmiana nie jest natychmiastowa |
| Brak pliku (4xx) | Traktowany tak, jakby nie było ograniczeń: wszystko można przeszukiwać |
| Błąd serwera (5xx) | Google wstrzymuje przeszukiwanie na 12 godzin, a potem używa ostatniej dobrej kopii przez maksymalnie 30 dni |
Oto typowy plik dla sklepu internetowego. Blokuje koszyk, kasę i wyszukiwarkę wewnętrzną, zostawia otwarty jeden folder publiczny i deklaruje mapę witryny.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Czy Disallow usuwa stronę z Google?
Nie. Robots.txt nie jest mechanizmem służącym do wykluczania strony z Google. Zablokowany adres URL nadal może zostać zaindeksowany, jeśli linkują do niego inne strony, i pojawia się wtedy bez opisu (Google, introduction to robots.txt). Aby ukryć stronę, pozwól Google ją przeszukać i dodaj meta tag noindex lub nagłówek HTTP. Jednoczesne zablokowanie strony w robots.txt sprawiłoby, że Google nigdy nie zobaczy noindex.
Sprawdź wynik strona po stronie w narzędziu do sprawdzania indeksowalności, które czyta razem robots.txt, meta robots, X-Robots-Tag i canonical. Słownictwo wyjaśniają nasze hasła słownika o robots.txt oraz przeszukiwaniu i indeksowaniu.
Czy blokować roboty AI w robots.txt?
Zablokuj boty, które trenują modele, jeśli chcesz, ale zostaw otwarte te, które zasilają wyszukiwanie AI. Najwięksi dostawcy rozdzielają dziś te dwie funkcje, więc nie musisz już wybierać między ochroną treści a byciem cytowanym.
| Dostawca | Bot treningowy | Bot wyszukiwania lub odpowiedzi | Co kosztuje zablokowanie bota wyszukiwania |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Twoje strony nie są pokazywane w odpowiedziach wyszukiwarki ChatGPT |
| Anthropic | ClaudeBot | Claude-SearchBot | Mniejsza widoczność w wynikach wyszukiwania Claude |
| Perplexity | Brak na liście | PerplexityBot | Twoje strony mogą nie być wyświetlane ani linkowane w wynikach Perplexity |
| Google-Extended (token, a nie osobny bot) | Googlebot | Google-Extended nie wpływa na wyszukiwarkę Google ani pozycje |
Źródła: OpenAI crawlers overview, Anthropic crawler policy, Perplexity crawlers i Google common crawlers. Aby odmówić treningu, pozostając możliwym do zacytowania przez ChatGPT, wystarczy plik zawierający tylko te dwie linie, ponieważ każdy inny bot jest domyślnie dozwolony:
User-agent: GPTBot Disallow: /
Trend jest realny: w ciągu jednego roku (2023 do 2024) 28% lub więcej najaktywniej utrzymywanych źródeł zbioru treningowego C4 stało się w pełni niedostępnych dla robotów AI (Longpre et al., Consent in Crisis, 2024). Zanim za nim pójdziesz, sprawdź, ile blokada kosztuje Cię w odpowiedziach AI: śledzenie wzmianek w AI Sorank pokazuje co tydzień, czy ChatGPT, Claude, Gemini i Perplexity wymieniają Twoją markę.
Które błędy w robots.txt najbardziej szkodzą SEO?
- Pozostawienie Disallow: / po wdrożeniu. Pliki testowe często trafiają na produkcję. Jedna linia blokuje wszystkie roboty na całej witrynie.
- Blokowanie CSS i JavaScript. Jeśli brakujące zasoby utrudniają zrozumienie strony, Google odradza ich blokowanie.
- Zapomnienie o ukośniku na końcu.
Disallow: /adminblokuje też/administrationi/admin-guide. Napisz/admin/, aby zablokować tylko folder. - Poleganie na Crawl-delay w przypadku Google. Google go ignoruje. Anthropic mówi, że obsługuje to rozszerzenie, więc zachowaj go tylko dla botów, które go czytają.
- Używanie robots.txt jako narzędzia bezpieczeństwa. Plik jest publiczny i każdy może go przeczytać. Chroń obszary prywatne logowaniem, a nie linią Disallow, która wskazuje wprost na nie.
- Zapomnienie o wyjątku w WordPressie. Domyślny plik WordPressa blokuje
/wp-admin/, ale zezwala na/wp-admin/admin-ajax.php, z którego korzystają funkcje front-endu (WordPress developer reference).
Jak sprawdzić robots.txt po opublikowaniu?
Użyj trzech kontroli, od najszybszej do najpełniejszej.
- Otwórz adres URL
https://yourdomain.com/robots.txtw przeglądarce. Powinieneś zobaczyć zwykły tekst, a nie stronę HTML ani błąd 404. - Uruchom narzędzie do sprawdzania robots.txt, aby wypisać grupy reguł, mapy witryny, problemy i status 14 user-agentów AI.
- Otwórz raport robots.txt w Search Console. Pokazuje pliki znalezione przez Google dla 20 głównych hostów Twojej witryny, ostatnie przeszukanie, ostrzeżenia i pozwala zażądać ponownego przeszukania po pilnej poprawce (Search Console Help, robots.txt report).
Potem dokończ konfigurację: wygeneruj czystą mapę witryny za pomocą generatora mapy witryny XML oraz plik llms.txt za pomocą generatora llms.txt, który daje asystentom AI streszczenie Twoich kluczowych stron.
Jakie są ograniczenia wygenerowanego robots.txt?
Generator zapisuje poprawną składnię, ale nie może znać Twojej witryny. Nie sprawdza, czy zablokowana ścieżka zawiera strony, które chcesz wypozycjonować, i zapisuje jedną grupę naraz. Złe boty całkowicie ignorują plik: robots.txt to prośba, a nie mur, więc ruch nadużywający blokuj na poziomie serwera lub zapory sieciowej. Wreszcie protokół obejmuje tylko przeszukiwanie. Strona pobrana na żądanie użytkownika, na przykład przez ChatGPT-User lub Perplexity-User, może nie przestrzegać reguł robots.txt, jak oba podmioty stwierdzają w swojej dokumentacji.
Jak ułatwić przeszukiwanie i cytowanie swojej witryny?
Czysty robots.txt to pierwszy krok. Kolejne to publikowanie stron wartych przeszukiwania i sprawdzanie, czy roboty faktycznie wracają.
- Śledź przeszukiwanie i ruch w panelu GEO / SEO, który łączy Search Console, Analytics i wizyty z ChatGPT i Perplexity.
- Zobacz, które strony cytują asystenci AI na Twoim rynku, w rankingu GEO i sprawdź, które miejsce wśród nich zajmujesz.
- Publikuj regularnie za pomocą generatora artykułów blogowych, aby roboty zawsze znajdowały coś nowego.
Dwuminutowy plik robots.txt chroni jednocześnie Twój budżet indeksowania i widoczność w AI. Wygeneruj swój powyżej, przetestuj go narzędziem do sprawdzania, a potem zobacz plany Sorank, aby na autopilot utrzymywać witrynę łatwą do przeszukiwania i cytowania.
