Robots.txt: kontroluj, jak Googlebot crawluje Twoją witrynę

Robots.txt to prosty, ale potężny plik, który kontroluje, jak wyszukiwarki crawlują Twoją witrynę. Znajduje się pod adresem `https://example.com/robots.txt` i zawiera reguły określające, które strony i katalogi mogą crawlować Google, Bing i inne boty. Robots.txt pomaga zarządzać budżetem crawlowania (liczbą stron, które Google crawluje dziennie), zapobiega marnowaniu crawlowania na mało istotne strony i trzyma prywatne treści z dala od wyników wyszukiwania.

Większość witryn ma plik robots.txt, ale wiele z nich jest źle skonfigurowanych. Źle skonfigurowany robots.txt może przypadkowo zablokować ważne strony i zmarnować potencjał rankingowy. Dobrze skonfigurowany poprawia efektywność crawlowania i chroni prywatność Twojej witryny. Ten przewodnik omawia składnię robots.txt, dobre praktyki i przykłady z realnych wdrożeń.

Czym jest robots.txt i jak korzystają z niego wyszukiwarki

Robots.txt to ustandaryzowany plik tekstowy, który przekazuje botom wyszukiwarek instrukcje dotyczące crawlowania. Gdy bot odwiedza Twoją witrynę po raz pierwszy, zanim cokolwiek przeskanuje, żąda pliku `/robots.txt`. Odczytuje reguły i stosuje się do nich (zakładając, że bot zachowuje się poprawnie).

Dokumentacja Google dotycząca robots.txt to wiarygodne źródło informacji o tym standardzie. Format robots.txt powstał w 1994 roku i jest powszechnie stosowany. Wszystkie największe wyszukiwarki (Google, Bing, Baidu) respektują robots.txt.

Ważne: robots.txt to wytyczna, a nie zapora sieciowa. Poprawnie działające boty (Google, Bing) przestrzegają reguł robots.txt. Złośliwe boty i scrapery je ignorują. Używaj robots.txt do zarządzania crawlowaniem przez wyszukiwarki, a nie do blokowania hakerów czy scraperów. Do ochrony użyj narzędzi na poziomie serwera.

Składnia robots.txt i podstawowe reguły

Robots.txt używa prostej składni tekstowej. Każda reguła składa się z dwóch części: User-agent (do którego bota odnosi się reguła) oraz ścieżek Disallow (które strony zablokować).

Podstawowy przykład:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

To mówi wszystkim botom (`*` oznacza wszystkie), by nie crawlowały katalogów `/admin/` i `/staging/`. Wiersz Sitemap wskazuje botom, gdzie znajduje się Twoja mapa witryny.

User-agent: \* oznacza wszystkie boty. Możesz też wskazać pojedyncze boty:

`User-agent: Googlebot` dotyczy wyłącznie bota Google. `User-agent: Bingbot` dotyczy wyłącznie bota Bing. Możesz mieć wiele sekcji User-agent z różnymi regułami.

Disallow: /path/ mówi botom, by nie crawlowały danej ścieżki. Disallow: / blokuje całą witrynę. Disallow: (puste) pozwala na wszystko. Dla jednego User-agent możesz wypisać wiele reguł Disallow.

Allow: /path/ zezwala na crawlowanie konkretnej ścieżki, nawet jeśli katalog nadrzędny jest zablokowany. Przykład: Disallow: /temp/, ale Allow: /temp/important/ zezwala na crawlowanie tylko podkatalogu /important/.

Typowe wzorce robots.txt

Wzorzec 1: zablokuj strony administracyjne

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

To blokuje crawlowanie stron administracyjnych, użytkowników i kont. Takie strony zwykle nie są przeznaczone dla wyszukiwarek.

Wzorzec 2: zablokuj środowisko testowe

User-agent: *
Disallow: /staging/
Disallow: /test/

Zapobiega crawlowaniu przez boty wersji testowych lub stagingowych Twojej witryny.

Wzorzec 3: zablokuj określone typy plików

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Zapobiega crawlowaniu plików PDF i ZIP. Przydaje się, gdy masz wiele plików PDF, które nie powinny być indeksowane.

Wzorzec 4: spowolnij boty, które przeciążają Twój serwer

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Całkowicie blokuje bota Ahrefs (jeśli nie chcesz, by narzędzia SEO crawlowały Twoją witrynę). Spowalnia bota Semrush, dodając 10-sekundowe opóźnienie między żądaniami. Crawl-delay przydaje się przy agresywnych botach, które przeciążają serwer.

Wzorzec 5: zezwól na wszystko (domyślnie)

User-agent: *
Disallow:

To ustawienie domyślne. Puste Disallow oznacza zezwolenie na wszystko. Możesz też w ogóle pominąć robots.txt, jeśli chcesz, by cała treść była crawlowana.

Robots.txt a meta robots noindex

Robots.txt blokuje crawlowanie. Meta robots noindex blokuje indeksowanie. Służą do różnych celów.

Używaj robots.txt, gdy: chcesz oszczędzić budżet crawlowania. Masz zduplikowane treści, które nie powinny być crawlowane. Masz strony administracyjne, których boty nie powinny dotykać. Chcesz spowolnić agresywne boty.

Używaj meta robots noindex, gdy: chcesz, by strona była crawlowana, ale nie indeksowana (aby widzieć błędy i problemy). Chcesz zapobiec indeksowaniu, ale nadal zezwolić na linki wewnętrzne i crawlowanie. Chcesz docelowo usunąć stronę z wyników wyszukiwania, ale zachować ją aktywną.

Przykład: strony paginacji, takie jak `/products?page=2`, można zablokować w robots.txt, by oszczędzić budżet crawlowania (bo Google zwykle konsoliduje paginację). Możesz jednak chcieć, by były crawlowane, aby rozpoznać relacje canonical. W takim przypadku użyj znaczników canonical zamiast robots.txt.

Zarządzanie budżetem crawlowania za pomocą robots.txt

Budżet crawlowania to liczba adresów URL, które Google crawluje dziennie w Twojej witrynie. Duże witryny z milionami stron nie mogą mieć wszystkich stron crawlowanych codziennie. Google przydziela budżet crawlowania na podstawie autorytetu witryny i częstotliwości zmian. Budżet crawlowania jest ograniczony. Marnowanie go na mało istotne strony oznacza, że ważne strony są crawlowane rzadziej.

Zoptymalizuj budżet crawlowania, blokując strony, które nie powinny być crawlowane: zduplikowane treści, stronicowane wyniki wyszukiwania, strony kont użytkowników, strony testowe. Każda zablokowana strona daje Google więcej budżetu na crawlowanie Twoich ważnych treści.

Typowi pożeracze budżetu crawlowania: nieskończona paginacja (filtry produktów tworzą nieograniczoną liczbę adresów URL), zduplikowane treści z różnymi parametrami, identyfikatory sesji doklejane do każdego adresu URL, strony kalendarzy i wydarzeń generujące niekończące się adresy URL. Użyj robots.txt, aby zablokować te wzorce.

Google Search Console pokazuje statystyki crawlowania Twojej witryny. Codziennie monitoruj żądania crawlowania. Jeśli Google wielokrotnie crawluje te same strony, nie odkrywając nowych treści, przejrzyj swój robots.txt i strategię blokowania.

Mapa witryny w robots.txt

Umieść adres URL mapy witryny w robots.txt. Dodaj `Sitemap: https://example.com/sitemap.xml` na końcu pliku robots.txt. Informuje to Google, gdzie znaleźć Twoją mapę witryny XML. Jeśli masz kilka plików, możesz wypisać wiele map witryny.

Przykład:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Wypisanie map witryny w robots.txt jest opcjonalne (możesz przesłać je przez Google Search Console), ale to dobra praktyka.

Testowanie i walidacja robots.txt

Google Search Console ma tester robots.txt. Przejdź do Ustawienia > Crawlowanie > Przetestuj robots.txt. Wpisz adres URL i sprawdź, czy robots.txt go blokuje. To nieocenione narzędzie do walidacji reguł przed wdrożeniem.

Zawsze testuj zmiany przed wdrożeniem robots.txt. Jeden błąd (jak `Disallow: /`, które blokuje całą witrynę) może zniszczyć Twoje pozycje. Użyj testera, aby sprawdzić, że:

Ważne strony nie są zablokowane. Strony administracyjne są zablokowane. Wzorce zduplikowanych treści są zablokowane. Żadne krytyczne ścieżki nie zostały przypadkowo zablokowane.

Po wdrożeniu robots.txt monitoruj w Google Search Console raport crawlowania pod kątem zmian. Jeśli tempo crawlowania nieoczekiwanie spada, być może przypadkowo zablokowałeś ważne treści.

Typowe błędy w robots.txt

Błąd 1: blokowanie CSS i JavaScript. Jeśli zablokujesz `/css/` lub `/js/` w robots.txt, Google nie może crawlować Twoich plików CSS i JavaScript. Bez CSS Google nie może prawidłowo wyrenderować Twoich stron. Nie blokuj CSS ani JavaScript.

Błąd 2: blokowanie ważnych treści. Zawsze testuj przed wdrożeniem. Literówka, jak `Disallow: /p` zamiast `Disallow: /staging/`, może niezamierzenie zablokować `/products/`.

Błąd 3: używanie robots.txt do zabezpieczeń. Nie polegaj na robots.txt w ochronie wrażliwych danych. Strony wrażliwe z punktu widzenia bezpieczeństwa powinny wymagać uwierzytelnienia, a nie tylko wpisu w robots.txt. Robots.txt jest publiczny i łatwo go obejść.

Błąd 4: niespójny robots.txt w różnych domenach. Jeśli masz wiele domen, utrzymuj spójne zasady robots.txt. Przypadkowo różne reguły mogą powodować problemy z efektywnością crawlowania.

Błąd 5: blokowanie samej mapy witryny. Nigdy nie blokuj `/sitemap.xml` w robots.txt. Google musi crawlować mapę witryny, aby odkrywać strony.

Zaawansowane funkcje robots.txt

Crawl-delay i Request-rate: te dyrektywy spowalniają boty. `Crawl-delay: 10` dodaje 10 sekund między żądaniami. `Request-rate: 1/10` pozwala na 1 żądanie na 10 sekund. Używaj ich dla botów, które przeciążają Twój serwer. Google zaleca korzystanie z ustawień Search Console zamiast tych dyrektyw.

Dyrektywa Allow: zezwala na crawlowanie konkretnej ścieżki, nawet jeśli ścieżka nadrzędna jest zablokowana. Przydaje się do tworzenia wyjątków. Przykład: `Disallow: /temp/`, ale `Allow: /temp/keep/` zezwala tylko na podkatalog keep.

Specyfikacja robots.txt od Google dokumentuje wszystkie obsługiwane dyrektywy. Większość funkcji jest rzadko potrzebna. W większości witryn wystarczą podstawowe dyrektywy User-agent, Disallow i Sitemap.

Zaawansowane dyrektywy robots.txt

Reguły dla konkretnych user-agentów pozwalają stosować różne zasady crawlowania dla różnych botów. Możesz osobno określić reguły dla Googlebota, Bingbota i innych user-agentów. Przydaje się to, gdy chcesz, by Google crawlował całą Twoją witrynę, ale Bingowi ograniczasz dostęp do niektórych sekcji. Określ user-agent na początku każdego bloku reguł:

`User-agent: Googlebot` stosuje reguły wyłącznie do crawlera Google. `User-agent: *` stosuje reguły do wszystkich botów. Reguły obowiązują dla danego user-agenta do następnej dyrektywy user-agent. Możesz utworzyć wiele bloków reguł dla różnych botów.

Dyrektywy crawl-delay i request-rate mówią botom, jak często crawlować. `Crawl-delay: 5` nakazuje botowi czekać 5 sekund między żądaniami. Zmniejsza to obciążenie serwera. `Request-rate: 1/10` nakazuje botowi wykonywać najwyżej 1 żądanie na 10 sekund. Dokumentacja robots.txt od Google szczegółowo opisuje wszystkie obsługiwane dyrektywy.

Dyrektywy lokalizacji mapy witryny mówią botom, gdzie ją znaleźć. `Sitemap: https://example.com/sitemap.xml` wskazuje botom Twoją mapę witryny XML. Możesz podać wiele map witryny. Jest to zalecane, bo pomaga botom sprawnie odkrywać wszystkie Twoje strony.

Dyrektywa Clean-param usuwa parametry URL przed crawlowaniem. `Clean-param: utm_source&utm_medium https://example.com` mówi Google, by ignorował parametry UTM w domenie example.com. Zapobiega to traktowaniu przez Google linków ze śledzeniem jako zduplikowanych treści. Dziś używa się jej rzadziej, ponieważ Google sam obsługuje większość parametrów śledzących.

Przetestuj swój plik robots.txt w testerze robots.txt w Google Search Console. Narzędzie pokazuje, które adresy URL Twój robots.txt zablokowałby dla Googlebota. Zapobiega to przypadkowemu zablokowaniu ważnych stron.

Podsumowanie

Robots.txt to prosty, ale kluczowy plik do zarządzania crawlowaniem przez wyszukiwarki i ochrony prywatności Twojej witryny. Dobrze skonfigurowany robots.txt blokuje mało istotne strony, oszczędza budżet crawlowania i zapobiega wielokrotnemu crawlowaniu zduplikowanych treści. Źle skonfigurowany może przypadkowo zablokować ważne treści i zniszczyć Twoje pozycje.

Zawsze testuj zmiany w robots.txt przed wdrożeniem. Użyj testera w Google Search Console do walidacji reguł. Co miesiąc monitoruj statystyki crawlowania. Blokuj mało istotne treści i skutecznie zarządzaj budżetem crawlowania. Skorzystaj z naszego narzędzia do audytu GEO SEO, aby sprawdzić konfigurację robots.txt i wykryć potencjalne problemy z crawlowaniem i indeksowaniem w całej witrynie.