Podsumowanie
audyt dostępności dla robotów AI czyta Twój plik robots.txt i stronę główną, a potem mówi Ci, dla 14 robotów AI od OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, Meta, ByteDance i Common Crawl, czy każdy z nich ma dostęp, jest częściowo zablokowany czy zablokowany. Sprawdza też obecność dyrektywy noindex i mapy witryny. Wynik w skali do 100 liczy podwójnie roboty zasilające odpowiedzi wyszukiwania AI. Jeśli OAI-SearchBot lub PerplexityBot jest zablokowany, ChatGPT i Perplexity nie mogą Cię cytować.
Chcesz dowiedzieć się więcej? Zapytaj
Website crawlability AI audit odpowiada na proste pytanie: czy AI, które odpowiadają Twoim klientom, potrafią odczytać Twoją stronę? Każda firma publikuje nazwę, której jej robot używa w robots.txt, a każde ustawienie działa niezależnie. OpenAI na przykład wyjaśnia, że strona może zezwolić OAI-SearchBot na pojawianie się w wynikach wyszukiwania ChatGPT, a jednocześnie zabronić GPTBot, aby wyłączyć swoje treści z trenowania modeli (OpenAI, overview of OpenAI crawlers). Jedna linijka w robots.txt może więc uczynić Cię niewidocznym w odpowiedzi AI, o czym nie masz pojęcia.
Które roboty AI sprawdza audyt?
Audyt testuje 14 agentów użytkownika. Pięć z nich, oznaczonych poniżej, obsługuje wyszukiwanie i odpowiedzi na żywo: ich zablokowanie usuwa Cię z odpowiedzi, które ludzie czytają dziś.
| Robot | Firma | Rola | Waga w wyniku |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Wyniki wyszukiwania ChatGPT | Podwójna (wyszukiwanie) |
| ChatGPT-User | OpenAI | Odwiedza stronę na prośbę użytkownika | Podwójna (wyszukiwanie) |
| GPTBot | OpenAI | Trenowanie modeli | Pojedyncza |
| PerplexityBot | Perplexity | Wyniki wyszukiwania Perplexity | Podwójna (wyszukiwanie) |
| Perplexity-User | Perplexity | Odwiedza stronę na prośbę użytkownika | Podwójna (wyszukiwanie) |
| Google-Extended | Trenowanie i ugruntowanie Gemini | Podwójna (wyszukiwanie) | |
| ClaudeBot | Anthropic | Trenowanie modeli | Pojedyncza |
| Claude-Web, anthropic-ai | Anthropic | Starsze tokeny Anthropic | Pojedyncza każdy |
| Applebot-Extended | Apple | Trenowanie Apple Intelligence | Pojedyncza |
| CCBot | Common Crawl | Otwarte archiwum sieci używane przez wiele modeli | Pojedyncza |
| Amazonbot | Amazon | Asystent i trenowanie | Pojedyncza |
| Bytespider | ByteDance | Trenowanie modeli | Pojedyncza |
| Meta-ExternalAgent | Meta | Trenowanie modeli | Pojedyncza |
Anthropic dokumentuje obecnie trzy boty: ClaudeBot do trenowania, Claude-User do stron pobieranych, gdy ktoś zadaje Claude pytanie, i Claude-SearchBot do jakości wyszukiwania (Claude Help Center, Anthropic crawlers). Jeśli chcesz być cytowany przez Claude, zezwól w robots.txt także na dwa ostatnie.
Jak uruchomić audyt?
- Wpisz swoją domenę, na przykład yourdomain.com. Audyt czyta https://yourdomain.com/robots.txt i stronę główną.
- Przeczytaj cztery liczby na górze: dozwolone boty wyszukiwania, zablokowane roboty, sprawdzone roboty i zadeklarowane mapy witryny.
- Przejrzyj tabelę robotów: każdy wiersz pokazuje firmę, rolę, status i regułę, która o nim zdecydowała.
- Napraw wymienione problemy w sekcji „Jak poprawić”, a potem uruchom audyt ponownie.
Audyt jest bezpłatny, z 3 sprawdzeniami dziennie i bez konta.
Jak obliczany jest wynik dostępności dla AI?
Każdy robot liczy się jako jedna kontrola: dozwolony daje pełne punkty, częściowy połowę, zablokowany nic. Pięć robotów wyszukiwania waży dwa razy więcej niż roboty do trenowania, a noindex na stronie głównej, w znaczniku meta robots lub nagłówku X-Robots-Tag, liczy się podwójnie jako niepowodzenie. Wynik to odsetek zdobytych punktów.
| Wynik | Ocena | Etykieta |
|---|---|---|
| 90 do 100 | A | Mocna |
| 75 do 89 | B | Mocna |
| 60 do 74 | C | Dobra, jest pole do poprawy |
| 40 do 59 | D | Wymaga pracy |
| Poniżej 40 | F | Krytyczne braki |
Wynik nagradza otwartość. Jeśli zostawisz pięć robotów wyszukiwania otwartych, a zablokujesz pozostałe dziewięć, Twój wynik wyniesie około 57: to świadomy wybór, a nie błąd. W takim przypadku patrz najpierw na liczbę „Boty wyszukiwania OK”, która powinna wynosić 5/5.
Co oznaczają dozwolony, częściowy i zablokowany?
Audyt stosuje reguły robots.txt tak, jak robią to roboty: bierze grupę napisaną dla robota z imienia albo grupę „User-agent: *”, jeśli takiej nie ma.
- Dozwolony: żadna grupa nie ma zastosowania albo grupa nie ma reguły Disallow.
- Częściowy: niektóre ścieżki są zabronione, na przykład /admin/ lub /cart/. Zwykle jest to w porządku; sprawdź, czy Twoje strony z treścią nie są na liście.
- Zablokowany: „Disallow: /” bez „Allow: /”, więc robot nie może czytać żadnej strony.
Reguły opierają się na Robots Exclusion Protocol ustandaryzowanym przez IETF w RFC 9309, który przypomina też właścicielom stron, że te reguły „nie są formą autoryzacji dostępu” (RFC 9309, Robots Exclusion Protocol). Robots.txt to prośba, którą przestrzegają poprawnie działające roboty, a nie zamek.
Blokować roboty AI czy je wpuścić?
Rozdziel dwa zastosowania. Roboty wyszukiwania przynoszą cytowania i wizyty; roboty do trenowania zasilają przyszłe modele. Większość firm, które chcą być polecane, otwiera pierwszą grupę, a w przypadku drugiej decyduje od przypadku do przypadku.
| Cel | Roboty wyszukiwania (OAI-SearchBot, PerplexityBot, ChatGPT-User, Perplexity-User) | Roboty do trenowania (GPTBot, ClaudeBot, CCBot, Applebot-Extended...) |
|---|---|---|
| Być cytowanym w odpowiedziach AI | Zezwól | Twój wybór |
| Wyłączyć treści z trenowania modeli | Zezwól | Zabroń |
| Treści płatne lub tylko dla członków | Zabroń tylko chronionych ścieżek | Zabroń tylko chronionych ścieżek |
Dwa oficjalne wyjaśnienia pomagają w decyzji. Google podaje, że Google-Extended nie wpływa na uwzględnienie strony w wyszukiwarce Google i nie jest sygnałem rankingowym (Google, common crawlers). Perplexity podaje, że PerplexityBot wyświetla strony w jego wynikach wyszukiwania i nie służy do trenowania podstawowych modeli AI (Perplexity, crawlers documentation). Applebot-Extended od Apple kontroluje tylko trenowanie: Apple zaznacza, że Twoje treści pozostają wyszukiwalne przez Spotlight, Siri i Safari (Apple Support, about Applebot).
Jak naprawić zablokowanego robota AI?
Edytuj plik robots.txt w głównym katalogu swojej domeny. Aby otworzyć wyszukiwanie ChatGPT, zachowując GPTBot na zewnątrz, dodaj dwie grupy:
- User-agent: OAI-SearchBot, a po nim Allow: /
- User-agent: GPTBot, a po nim Disallow: /
Następnie sprawdź trzy rzeczy, które często cofają zmianę.
- Reguła CDN lub zapory sieciowej, która blokuje agentów użytkownika AI, zanim robots.txt zostanie w ogóle odczytany. Niektóre CDN oferują przełącznik blokujący boty AI jednym kliknięciem.
- Noindex w znaczniku meta lub nagłówku X-Robots-Tag, który audyt zgłasza osobno.
- Opóźnienie: OpenAI i Perplexity podają, że uwzględnienie zmian może potrwać około 24 godzin.
Robots.txt checker weryfikuje składnię, a generator robots.txt pisze czysty plik. Hasło słownikowe o robotach AI opisuje każdego bota dokładniej.
Dlaczego audyt sprawdza mapę witryny i noindex?
Ponieważ sam dostęp nie wystarczy: roboty muszą też znaleźć Twoje strony i mieć prawo z nich korzystać. Linia „Sitemap:” w robots.txt wskazuje każdemu robotowi listę Twoich adresów URL, a noindex na stronie głównej każe systemom wyszukiwania pominąć witrynę. Google potwierdza, że aby pojawić się jako link pomocniczy w AI Overviews lub AI Mode, strona musi być zaindeksowana i kwalifikować się do wyświetlania ze snippetem (Google, AI features and your website). Aby zobaczyć widok strona po stronie, użyj indexability checker i sitemap checker.
Jakie są ograniczenia audytu?
- Czyta reguły, a nie ruch: nie widzi, czy robot faktycznie Cię odwiedził. Pokazują to logi Twojego serwera.
- Brak robots.txt liczy się jako otwarty dostęp: gdy plik nie może zostać odczytany, każdy robot jest pokazany jako dozwolony. Jeśli plik odpowiada błędem serwera, roboty mogą natomiast uznać całą witrynę za zablokowaną, jak określa RFC 9309, więc sprawdź jego kod statusu.
- Zapory są dla niego niewidoczne: bot zablokowany na poziomie CDN nadal jest pokazany jako dozwolony.
- Nowe roboty pojawiają się często: lista obejmuje główne firmy AI, a nie każdego bota w sieci.
Od otwartych drzwi do prawdziwych cytowań
Otwarty robots.txt umożliwia cytowania, ale ich nie tworzy. Gdy roboty mogą Cię czytać, sprawdź, czy ChatGPT faktycznie Cię cytuje, za pomocą ChatGPT visibility checker. Śledzenie wzmianek w AI w Sorank śledzi potem co tydzień Twoje cytowania w ChatGPT, Perplexity, Gemini i Claude, a generator artykułów blogowych publikuje strony, które te AI chętnie cytują. Zobacz plany Sorank, aby uruchomić to na autopilot.
