Robots.txt: як керувати скануванням Googlebot

Robots.txt: простий, але потужний файл, що керує тим, як пошукові системи сканують ваш сайт. Він розташований за адресою `https://example.com/robots.txt` і містить правила, які визначають, які сторінки та каталоги можуть сканувати Google, Bing та інші боти. Robots.txt допомагає керувати краулінговим бюджетом (кількістю сторінок, які Google сканує щодня), не марнувати сканування на неважливі сторінки та не допускати приватний контент до пошукової видачі.

Більшість сайтів мають файл robots.txt, але багато з них налаштовані неправильно. Неправильно налаштований robots.txt може випадково заблокувати важливі сторінки, марнуючи потенціал ранжування. Правильно налаштований robots.txt підвищує ефективність сканування та захищає приватність вашого сайту. У цьому посібнику розглянуто синтаксис robots.txt, найкращі практики та приклади з реального життя.

Що таке robots.txt і як ним користуються пошукові системи

Robots.txt: це стандартизований текстовий файл, який передає інструкції зі сканування ботам пошукових систем. Коли бот уперше заходить на ваш сайт, він запитує `/robots.txt` перед скануванням будь-чого іншого. Робот читає правила й виконує їх (якщо бот добросовісний).

Документація Google щодо robots.txt: авторитетне джерело щодо цього стандарту. Формат robots.txt створено 1994 року, і його широко прийнято. Усі великі пошукові системи (Google, Bing, Baidu) дотримуються robots.txt.

Важливо: robots.txt: це рекомендація, а не брандмауер. Добросовісні боти (Google, Bing) дотримуються правил robots.txt. Зловмисні боти та скрапери ігнорують robots.txt. Використовуйте robots.txt для керування скануванням пошуковими системами, а не для блокування хакерів чи скраперів. Для безпеки використовуйте засоби на рівні сервера.

Синтаксис robots.txt і базові правила

Robots.txt використовує простий текстовий синтаксис. Кожне правило складається з двох частин: User-agent (до якого бота належить правило) і шляхів Disallow (які сторінки блокувати).

Базовий приклад:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Це наказує всім ботам (`*` означає всіх) не сканувати каталоги `/admin/` та `/staging/`. Рядок Sitemap вказує ботам, де розташована ваша карта сайту.

User-agent: \* означає всіх ботів. Також можна вказувати окремих ботів:

`User-agent: Googlebot` стосується лише бота Google. `User-agent: Bingbot` стосується лише бота Bing. Можна мати кілька розділів User-agent з різними правилами.

Disallow: /path/ забороняє ботам сканувати цей шлях. Disallow: / блокує весь сайт. Disallow: (порожнє значення) дозволяє все. Для одного User-agent можна вказати кілька правил Disallow.

Allow: /path/ дозволяє сканувати конкретний шлях, навіть якщо батьківський каталог заборонений. Приклад: Disallow: /temp/, але Allow: /temp/important/ дозволяє сканувати лише підкаталог /important/.

Типові шаблони robots.txt

Шаблон 1: блокування адмінсторінок

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Це блокує сканування адміністративних сторінок, сторінок користувачів і облікових записів. Такі сторінки зазвичай не призначені для пошукових систем.

Шаблон 2: блокування тестового середовища

User-agent: *
Disallow: /staging/
Disallow: /test/

Не дозволяє ботам сканувати тестові або проміжні версії вашого сайту.

Шаблон 3: блокування певних типів файлів

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Не дозволяє ботам сканувати файли PDF та ZIP. Це корисно, якщо у вас багато PDF, які не повинні індексуватися.

Шаблон 4: уповільнення ботів, що перевантажують сервер

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Повністю блокує бота Ahrefs (якщо ви не хочете, щоб ваш сайт сканували SEO-інструменти). Уповільнює бота Semrush, додаючи 10-секундну затримку між запитами. Crawl-delay корисний для агресивних ботів, що перевантажують сервер.

Шаблон 5: дозволити все (за замовчуванням)

User-agent: *
Disallow:

Це стандартне налаштування. Порожній Disallow означає дозвіл на все. Також можна взагалі не створювати robots.txt, якщо ви хочете, щоб увесь контент сканувався.

Robots.txt чи метатег robots noindex

Robots.txt блокує сканування. Метатег robots noindex блокує індексацію. Вони служать різним цілям.

Використовуйте robots.txt, коли: хочете заощадити краулінговий бюджет. Маєте дубльований контент, який не слід сканувати. Маєте адмінсторінки, яких боти не повинні торкатися. Хочете уповільнити агресивних ботів.

Використовуйте метатег robots noindex, коли: хочете, щоб сторінку сканували, але не індексували (щоб бачити помилки й проблеми). Хочете запобігти індексації, але залишити внутрішні посилання та сканування. Хочете з часом прибрати сторінку з пошуку, залишивши її доступною.

Приклад: сторінки пагінації на кшталт `/products?page=2` можна заблокувати в robots.txt, щоб заощадити краулінговий бюджет (адже Google зазвичай об'єднує пагінацію). Але ви можете захотіти, щоб їх сканували, аби виявити канонічні зв'язки. У такому разі використовуйте канонічні теги замість robots.txt.

Керування краулінговим бюджетом за допомогою robots.txt

Краулінговий бюджет: це кількість URL, які Google сканує на вашому сайті щодня. Великі сайти з мільйонами сторінок не можуть мати всі сторінки просканованими щодня. Google розподіляє краулінговий бюджет залежно від авторитету вашого сайту та частоти оновлень. Краулінговий бюджет обмежений. Якщо марнувати його на неважливі сторінки, важливі сторінки скануються рідше.

Оптимізуйте краулінговий бюджет, блокуючи сторінки, які не слід сканувати: дубльований контент, сторінки пагінації результатів пошуку, сторінки облікових записів, тестові сторінки. Кожна заблокована сторінка дає Google більше бюджету на сканування вашого важливого контенту.

Типові «пожирачі» краулінгового бюджету: нескінченна пагінація (фільтри товарів створюють необмежену кількість URL), дубльований контент із різними параметрами, ідентифікатори сесій у кожному URL, сторінки календарів і подій, що генерують нескінченні URL. Використовуйте robots.txt, щоб заблокувати ці шаблони.

Google Search Console показує статистику сканування вашого сайту. Щодня стежте за запитами на сканування. Якщо Google знову й знову сканує ті самі сторінки, не знаходячи нового контенту, перегляньте свій robots.txt і стратегію блокування.

Карта сайту в robots.txt

Додайте URL своєї карти сайту до robots.txt. Додайте `Sitemap: https://example.com/sitemap.xml` в кінці файлу robots.txt. Це повідомляє Google, де знайти вашу XML-карту сайту. Якщо у вас кілька файлів, можна вказати кілька карт сайту.

Приклад:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Указувати карти сайту в robots.txt необов'язково (їх можна надіслати через Google Search Console), але це найкраща практика.

Тестування та перевірка robots.txt

У Google Search Console є засіб перевірки robots.txt. Перейдіть у Settings > Crawling > Test robots.txt. Введіть URL і подивіться, чи блокує його robots.txt. Це неоціненно для перевірки правил перед розгортанням.

Завжди тестуйте перед розгортанням змін у robots.txt. Одна помилка (як-от `Disallow: /`, що блокує весь сайт) може зруйнувати ваші позиції. Скористайтеся засобом перевірки, щоб переконатися, що:

Важливі сторінки не заблоковані. Адмінсторінки заблоковані. Шаблони дубльованого контенту заблоковані. Жодні критичні шляхи випадково не заборонені.

Після розгортання robots.txt стежте за змінами у звіті про сканування в Google Search Console. Якщо швидкість сканування несподівано падає, можливо, ви випадково заблокували важливий контент.

Типові помилки в robots.txt

Помилка 1: блокування CSS і JavaScript. Якщо ви блокуєте `/css/` або `/js/` у robots.txt, Google не може сканувати ваші CSS і JavaScript. Без CSS Google не може коректно відобразити ваші сторінки. Не блокуйте CSS і JavaScript.

Помилка 2: блокування важливого контенту. Завжди тестуйте перед розгортанням. Помилка друку на кшталт `Disallow: /p` замість `Disallow: /staging/` може ненавмисно заблокувати `/products/`.

Помилка 3: використання robots.txt для безпеки. Не покладайтеся на robots.txt для захисту чутливих даних. Сторінки, важливі для безпеки, мають вимагати автентифікації, а не лише robots.txt. Robots.txt публічний, і його легко обійти.

Помилка 4: неузгоджений robots.txt на різних доменах. Якщо у вас кілька доменів, дотримуйтеся єдиної політики robots.txt. Випадкові відмінності в правилах можуть призвести до проблем з ефективністю сканування.

Помилка 5: блокування самої карти сайту. Ніколи не блокуйте `/sitemap.xml` у robots.txt. Google має сканувати карту сайту, щоб виявляти сторінки.

Розширені можливості robots.txt

Crawl-delay і Request-rate: ці директиви уповільнюють ботів. `Crawl-delay: 10` додає 10 секунд між запитами. `Request-rate: 1/10` дозволяє 1 запит на 10 секунд. Використовуйте їх для ботів, що перевантажують сервер. Google рекомендує користуватися налаштуваннями Search Console замість цих директив.

Директива Allow: дозволяє сканувати конкретний шлях, навіть якщо батьківський шлях заборонений. Корисна для створення винятків. Приклад: `Disallow: /temp/`, але `Allow: /temp/keep/` дозволяє лише підкаталог keep.

Специфікація robots.txt від Google описує всі підтримувані директиви. Більшість можливостей потрібні рідко. Для більшості сайтів достатньо базових User-agent, Disallow і Sitemap.

Розширені директиви robots.txt

Правила для окремих user-agent дають змогу застосовувати різні правила сканування до різних ботів. Можна окремо вказати правила для Googlebot, Bingbot та інших user-agent. Це корисно, якщо ви хочете, щоб Google сканував увесь сайт, але обмежити Bing доступ до певних розділів. Вказуйте user-agent на початку кожного блоку правил:

`User-agent: Googlebot` застосовує правила лише до краулера Google. `User-agent: *` застосовує правила до всіх ботів. Правила діють для конкретного user-agent до наступної директиви user-agent. Можна створювати кілька блоків правил для різних ботів.

Директиви crawl-delay і request-rate повідомляють ботам, як часто сканувати. `Crawl-delay: 5` наказує боту чекати 5 секунд між запитами. Це зменшує навантаження на сервер. `Request-rate: 1/10` наказує боту робити не більше 1 запиту на 10 секунд. Документація Google щодо robots.txt детально описує всі підтримувані директиви.

Директиви розташування карти сайту вказують ботам, де знайти вашу карту сайту. `Sitemap: https://example.com/sitemap.xml` спрямовує ботів до вашої XML-карти сайту. Можна вказати кілька карт сайту. Це рекомендовано, оскільки допомагає ботам ефективно знаходити всі ваші сторінки.

Директива Clean-param прибирає параметри URL перед скануванням. `Clean-param: utm_source&utm_medium https://example.com` наказує Google ігнорувати UTM-параметри на example.com. Це не дає Google вважати посилання з мітками дубльованим контентом. Зараз це використовують рідше, бо Google автоматично обробляє більшість параметрів відстеження.

Перевірте свій файл robots.txt у засобі перевірки robots.txt у Google Search Console. Інструмент показує, які URL ваш robots.txt блокуватиме для Googlebot. Це запобігає випадковому блокуванню важливих сторінок.

Висновок

Robots.txt: простий, але критично важливий файл для керування скануванням пошуковими системами та захисту приватності вашого сайту. Правильно налаштований robots.txt блокує неважливі сторінки, економить краулінговий бюджет і не дає дубльованому контенту скануватися багато разів. Неправильно налаштований robots.txt може випадково заблокувати важливий контент і зруйнувати ваші позиції.

Завжди тестуйте зміни в robots.txt перед розгортанням. Використовуйте засіб перевірки Google Search Console, щоб перевірити правила. Щомісяця стежте за статистикою сканування. Блокуйте неважливий контент і ефективно керуйте краулінговим бюджетом. Скористайтеся нашим інструментом GEO SEO аудиту, щоб перевірити конфігурацію robots.txt і виявити потенційні проблеми зі скануванням та індексацією на всьому сайті.