Podsumowanie
bezpłatny robots.txt checker czyta aktualny plik robots.txt dowolnej domeny i pokazuje jego grupy reguł, mapy witryny, znalezione problemy oraz status 14 robotów AI (dozwolony, częściowy lub zablokowany), od GPTBot i OAI-SearchBot po ClaudeBot, PerplexityBot i Google-Extended. Używaj go po każdej zmianie pliku oraz zawsze, gdy Twoje strony przestają pojawiać się w Google lub w odpowiedziach AI.
Chcesz dowiedzieć się więcej? Zapytaj
Robots.txt checker wyłapuje linijkę, która po cichu blokuje całą stronę. Robots.txt to publiczny standard (RFC 9309), który czyta każdy duży robot przed odwiedzeniem strony, a roboty AI zwielokrotniły liczbę botów, które trzeba obsłużyć. Między majem 2024 a majem 2025 udział GPTBot w ruchu robotów AI wzrósł z 5% do 30%, a Meta-ExternalAgent osiągnął 19% (Cloudflare, who's crawling your site in 2025). Twój plik musi mówić coś sensownego wszystkim z nich.
Co pokazuje robots.txt checker?
Wpisz domenę, a narzędzie pobierze https://yourdomain/robots.txt, podąży za przekierowaniami, sparsuje plik i zwróci pięć bloków.
| Blok | Co pokazuje | Na co zwrócić uwagę |
|---|---|---|
| Grupy reguł | Ile grup User-agent zawiera plik | Zero oznacza, że składni nie dało się odczytać |
| Mapy witryny | Każda znaleziona linia Sitemap | Co najmniej jeden pełny adres URL Twojej mapy witryny |
| Zablokowane boty AI | Ile z 14 robotów AI jest całkowicie zablokowanych | Tylko te, które zdecydowałeś się zablokować |
| Problemy | Wykryte problemy wraz z rekomendacją | Zero lub tylko świadome decyzje |
| Surowy plik | Robots.txt w postaci serwowanej | Czy to plik, który Twoim zdaniem opublikowałeś |
Jeśli domena nie ma pliku robots.txt albo zwraca stronę HTML zamiast zwykłego tekstu, narzędzie to zgłasza i zaleca dodanie pliku. Wersja bezpłatna wykonuje 3 sprawdzenia dziennie.
Jak narzędzie ustala, czy bot AI jest zablokowany?
Dla każdego z 14 robotów AI narzędzie szuka grupy, która wymienia bota. Jeśli jej nie ma, używa grupy User-agent: *. Następnie stosuje trzy statusy.
| Status | Reguła znaleziona w grupie | Co oznacza |
|---|---|---|
| Dozwolony | Żadna grupa nie ma zastosowania albo grupa nie ma reguły Disallow | Bot może przeszukiwać całą stronę |
| Częściowy | Reguły Disallow tylko dla niektórych ścieżek | Bot może przeszukiwać stronę poza tymi ścieżkami |
| Zablokowany | Disallow: / bez Allow: / | Bot jest proszony, by trzymać się z dala od całej strony |
Sprawdzanych jest 14 robotów: GPTBot, OAI-SearchBot i ChatGPT-User (OpenAI), ClaudeBot, Claude-Web i anthropic-ai (Anthropic), PerplexityBot i Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) i Meta-ExternalAgent. Tabela pokazuje też dostawcę i przeznaczenie każdego bota, więc od razu widać, czy blokujesz trenowanie, wyszukiwanie czy przeglądanie na żywo.
Które roboty AI warto dopuścić?
Dopuść roboty, które umieszczają Twoje strony w odpowiedziach wyszukiwania AI. Blokowanie robotów do trenowania to decyzja biznesowa; blokowanie robotów wyszukiwania to zwykle błąd.
- OAI-SearchBot: strony, które zrezygnowały, nie są pokazywane w odpowiedziach wyszukiwania ChatGPT. GPTBot dotyczy wyłącznie trenowania modeli, a oba ustawienia są niezależne (OpenAI crawlers overview).
- PerplexityBot: wyświetla strony i linkuje do nich w wynikach Perplexity i nie służy do trenowania modeli podstawowych (Perplexity crawlers).
- Google-Extended: token dla trenowania i ugruntowania Gemini, który nie wpływa na uwzględnienie w wyszukiwarce Google ani na pozycje (Google common crawlers).
- Anthropic: ClaudeBot zbiera dane treningowe, a Claude-SearchBot i Claude-User obsługują wyszukiwanie i prośby użytkowników; zablokowanie tych dwóch może zmniejszyć Twoją widoczność w Claude (Anthropic crawler policy).
Większość stron nigdy nie podejmuje decyzji. 6 czerwca 2025 roku tylko około 14% z 10000 największych domen z plikiem robots.txt miało reguły dotyczące botów AI, a GPTBot był zarówno najczęściej blokowany (312 domen), jak i najczęściej wprost dopuszczany (61 domen), według tego samego badania Cloudflare. Boty niewymienione w pliku są domyślnie dozwolone.
Co oznaczają najczęstsze problemy?
| Zgłoszony problem | Dlaczego ma znaczenie | Poprawka |
|---|---|---|
| User-agent: * jest zablokowany dla całej strony | Każdy robot bez własnej grupy, w tym Googlebot, jest proszony, by trzymać się z dala | Usuń Disallow: / z grupy *, chyba że strona jest kopią testową |
| Brak dyrektywy Sitemap | Roboty, którym nigdy nie zgłosiłeś mapy witryny, takie jak Bing czy roboty AI, mogą jej nie znaleźć | Dodaj Sitemap: https://yourdomain/sitemap.xml |
| Wymieniony bot AI jest zablokowany | Ten dostawca nie będzie przeszukiwał Twoich stron | Zostaw tak tylko wtedy, gdy zablokowanie tego bota jest świadomą decyzją |
| Nie sparsowano żadnych grup User-agent | Plik nie ma poprawnej reguły, więc niczego nie ogranicza | Sprawdź składnię: Pole: wartość, jedna reguła w linii |
| Nie znaleziono robots.txt | Samo w sobie nie jest błędem: Google przeszukuje wtedy wszystko | Dodaj plik mimo to, aby zadeklarować mapę witryny i swoje decyzje dotyczące AI |
Brakujący lub uszkodzony plik jest przez Google traktowany różnie w zależności od statusu HTTP. Odpowiedź 4xx (z wyjątkiem 429) oznacza brak ograniczeń. Odpowiedź 5xx jest traktowana jako błąd serwera: Google wstrzymuje przeszukiwanie na 12 godzin, a potem używa ostatniej dobrej kopii przez maksymalnie 30 dni (Google, how Google interprets the robots.txt specification). Robots.txt, który ciągle zawodzi z błędami serwera, może więc zamrozić przeszukiwanie zdrowej strony.
Jak krok po kroku naprawić problem z robots.txt?
- Przeczytaj surowy plik w raporcie, aby potwierdzić, co naprawdę jest online. Pamięci podręczne CDN i wdrożenia testowe często serwują starą wersję.
- Przepisz plik za pomocą generatora robots.txt, który buduje czyste grupy, reguły Allow i Disallow oraz linię Sitemap.
- Wgraj go do katalogu głównego każdego hosta. Subdomena, taka jak blog.example.com, wymaga własnego pliku.
- Uruchom narzędzie ponownie i potwierdź, że statusy się zmieniły.
- Poinformuj Google, jeśli poprawka jest pilna. Raport robots.txt w Search Console pokazuje pliki znalezione przez Google dla Twoich 20 największych hostów i pozwala zażądać ponownego przeszukania (Search Console Help, robots.txt report). W przeciwnym razie Google odświeża swoją kopię w pamięci podręcznej w ciągu około 24 godzin.
Następnie sprawdź same strony. Strona otwarta w robots.txt nadal może być wykluczona z indeksu przez znacznik noindex lub canonical wskazujący gdzie indziej: indexability checker testuje to wszystko dla jednego adresu URL. Aby zobaczyć widok całej witryny z tym, co mogą czytać roboty AI, uruchom audyt dostępności dla robotów AI.
Jakie są ograniczenia robots.txt checker?
- Statusy są podsumowane dla bota, a nie dla adresu URL. „Częściowy” mówi, że niektóre ścieżki są zamknięte; przeczytaj reguły, by zobaczyć które.
- Jedna grupa na bota. Jeśli rozdzielisz reguły dla tego samego bota na kilka grup, Google je łączy. W takim przypadku przeczytaj surowy plik.
- Tylko domena główna. Narzędzie czyta plik wpisanej domeny, bez www, i podąża za przekierowaniami. Sprawdzaj każdą subdomenę osobno.
- Lista 14 botów. Nowsze agenty użytkownika, takie jak Claude-SearchBot i Claude-User, nie ma jeszcze w tabeli: szukaj ich w surowym pliku.
- Robots.txt to prośba. Renomowane roboty ją respektują, agresywne nie, a pobrania wywołane przez użytkownika, takie jak ChatGPT-User czy Perplexity-User, mogą jej nie stosować, co dokumentują zarówno OpenAI, jak i Perplexity.
Słownictwo stojące za tymi kontrolami wyjaśniają nasze hasła słownikowe o robots.txt i robotach AI.
Jak upewnić się, że asystenci AI mogą Cię znaleźć i zacytować?
Otwarty robots.txt to warunek, a nie rezultat. Gdy roboty mogą czytać Twoją stronę, zmierz, czy asystenci AI faktycznie z niej korzystają.
- Śledź swoją markę w odpowiedziach AI za pomocą śledzenia wzmianek w AI w Sorank, które co tydzień sprawdza, czy ChatGPT, Claude, Gemini i Perplexity Cię wymieniają i jakie źródła cytują.
- Obserwuj wizyty z AI obok kliknięć z Google w panelu GEO / SEO.
- Dawaj robotom świeże strony do czytania dzięki planerowi treści bloga, który wypełnia Twój kalendarz i publikuje zgodnie z harmonogramem.
Jedna błędna linijka w robots.txt może ukryć stronę przed Google i przed każdym asystentem AI naraz. Sprawdzaj swój plik powyżej po każdej zmianie, a potem zobacz plany Sorank, aby monitorować dostępność dla robotów i widoczność w AI na autopilot.
