Коротко
безкоштовний генератор robots.txt пише файл, що повідомляє краулерам, які частини вашого сайту їм дозволено відвідувати. Оберіть режим (дозволити все, заблокувати все або власний), перелічіть свої user-agent і шляхи, додайте URL своєї карти сайту, а потім скопіюйте або завантажте файл і розмістіть його в корені свого домену. Пам'ятайте: robots.txt керує скануванням, а не індексацією: щоб не допустити сторінку до Google, використовуйте noindex.
Хочете дізнатися більше? Запитайте
Генератор robots.txt рятує від дрібних синтаксичних помилок, які випадково блокують увесь сайт. Файл відповідає Robots Exclusion Protocol, створеному Мартейном Костером у 1994 році та опублікованому як інтернет-стандарт IETF у вересні 2022 року (RFC 9309, Robots Exclusion Protocol). Кожен серйозний краулер читає його першим: від Googlebot до ботів ChatGPT, Claude і Perplexity.
Що робить генератор robots.txt?
Він будує валідний robots.txt під час вводу, з живим прев'ю праворуч, кнопкою «Копіювати» та кнопкою «Завантажити», що зберігає файл під назвою robots.txt. Нічого не надсилається на сервер: файл збирається у вашому браузері.
| Налаштування | Що записується | Коли використовувати |
|---|---|---|
| Дозволити все | User-agent: * і Allow: / | Більшість публічних сайтів, яким нічого приховувати від краулерів |
| Заблокувати все | User-agent: * і Disallow: / | Тестові або прев'ю-сайти, які не можна сканувати |
| Власний | Один рядок User-agent на бота, потім ваші шляхи Disallow і Allow | Блокування адмін-зон, внутрішнього пошуку чи конкретного бота |
| URL карти сайту | Sitemap: https://example.com/sitemap.xml | Завжди, щоб кожен краулер знайшов вашу карту сайту |
| Crawl-delay | Crawl-delay: від 1 до 120 секунд | Лише для ботів, що його підтримують, і сервера, який не справляється |
У власному режимі всі перелічені вами user-agent поділяють однакові правила, саме так стандарт визначає групу. Щоб дати різним ботам різні правила, генеруйте по одній групі й вставляйте їх одну за одною в той самий файл.
Як створити файл robots.txt крок за кроком?
- Оберіть режим. Починайте з «Дозволити все», якщо немає причини щось блокувати.
- Перелічіть свої user-agent у власному режимі, по одному в рядку:
*для всіх краулерів або назви на кшталт Googlebot, Bingbot чи GPTBot. - Додайте шляхи для блокування (Disallow) і винятки, які залишаються відкритими (Allow), по одному в рядку, кожен починається зі скісної риски.
- Вставте URL своєї карти сайту повністю, з https і доменом.
- Скопіюйте або завантажте файл і розмістіть його в корені свого хоста, щоб він відповідав за адресою
https://example.com/robots.txt. - Перевірте його в робочому середовищі безкоштовною перевіркою robots.txt, яка читає живий файл і показує статус кожного AI-краулера.
Розташування строге. Google читає robots.txt лише в корені хоста, сайт може мати тільки один такий файл, і він діє лише для протоколу, хоста та порту, де розміщений: піддомену потрібен власний (Google, create and submit a robots.txt file).
Яких правил robots.txt дотримується Google?
Google підтримує чотири поля: user-agent, allow, disallow і sitemap. Інші поля, як-от crawl-delay, не підтримуються (Google, how Google interprets the robots.txt specification). Та сама сторінка встановлює наведені нижче правила.
| Правило | Як його застосовує Google |
|---|---|
| Перемагає найконкретніше правило | Коли Allow і Disallow обидва збігаються з URL, діє правило з найдовшим шляхом |
| Рівність правил | Коли два збіжні правила однаково конкретні, Google використовує менш обмежувальне |
| Символи підстановки | * збігається з будь-якою послідовністю символів, $ позначає кінець URL |
| Регістр | Назви полів нечутливі до регістру, але шляхи чутливі: /Admin/ не те саме, що /admin/ |
| Розмір файлу | Вміст після перших 500 КіБ ігнорується |
| Кеш | Файл зазвичай кешується до 24 годин, тож зміна не миттєва |
| Відсутній файл (4xx) | Розглядається так, ніби обмежень немає: можна сканувати все |
| Помилка сервера (5xx) | Google призупиняє сканування на 12 годин, а потім до 30 днів використовує останню справну копію |
Ось типовий файл для інтернет-магазину. Він блокує кошик, оформлення замовлення та внутрішній пошук, залишає відкритою одну публічну папку й оголошує карту сайту.
User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search Allow: /checkout/help/ Sitemap: https://example.com/sitemap.xml
Чи видаляє Disallow сторінку з Google?
Ні. Robots.txt не є механізмом, що не допускає веб-сторінку до Google. Заблокований URL усе одно може бути проіндексований, якщо на нього посилаються інші сайти, і тоді він з'являється без опису (Google, introduction to robots.txt). Щоб приховати сторінку, дозвольте Google її сканувати й додайте мета-тег noindex або HTTP-заголовок. Якщо одночасно заблокувати сторінку в robots.txt, Google ніколи не побачить noindex.
Перевіряйте результат сторінка за сторінкою за допомогою перевірки індексованості, яка читає robots.txt, meta robots, X-Robots-Tag і canonical разом. Щодо термінології дивіться наші статті глосарія про robots.txt та сканування й індексацію.
Чи слід блокувати AI-краулери в robots.txt?
Блокуйте ботів, що навчають моделі, якщо хочете, але залишайте відкритими ботів, що живлять пошук на основі ШІ. Найбільші провайдери тепер розділяють ці два типи, тож вам більше не потрібно обирати між захистом контенту та цитуванням.
| Провайдер | Бот для навчання | Пошуковий бот або бот відповідей | Чим обертається блокування пошукового бота |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | Ваші сторінки не показуються у відповідях пошуку ChatGPT |
| Anthropic | ClaudeBot | Claude-SearchBot | Менша видимість у результатах пошуку Claude |
| Perplexity | Не вказано | PerplexityBot | Ваші сторінки можуть не показуватися чи не отримувати посилань у результатах Perplexity |
| Google-Extended (токен, а не окремий бот) | Googlebot | Google-Extended не впливає на Google Search чи ранжування |
Джерела: OpenAI crawlers overview, Anthropic crawler policy, Perplexity crawlers та Google common crawlers. Щоб відмовити в навчанні, залишаючись придатним до цитування в ChatGPT, достатньо файлу, що містить лише ці два рядки, адже всі інші боти за замовчуванням залишаються дозволеними:
User-agent: GPTBot Disallow: /
Тенденція справжня: лише за один рік (з 2023 до 2024) 28% і більше найактивніше підтримуваних джерел навчального набору даних C4 стали повністю закритими для AI-краулерів (Longpre et al., Consent in Crisis, 2024). Перш ніж їй слідувати, перевірте, чим блокування обернеться у відповідях ШІ: відстеження згадок у ШІ від Sorank щотижня показує, чи називають ваш бренд ChatGPT, Claude, Gemini і Perplexity.
Які помилки robots.txt найбільше шкодять SEO?
- Залишити Disallow: / після запуску. Тестові файли часто потрапляють у робоче середовище. Один рядок блокує всіх краулерів на всьому сайті.
- Блокувати CSS і JavaScript. Якщо через відсутні ресурси сторінку важче зрозуміти, Google радить їх не блокувати.
- Забути про кінцеву скісну риску.
Disallow: /adminтакож блокує/administrationі/admin-guide. Пишіть/admin/, щоб заблокувати лише папку. - Покладатися на Crawl-delay для Google. Google його ігнорує. Anthropic каже, що підтримує це розширення, тож залишайте його лише для ботів, які його читають.
- Використовувати robots.txt як засіб безпеки. Файл публічний, і будь-хто може його прочитати. Захищайте приватні зони логіном, а не рядком Disallow, що вказує просто на них.
- Забути про виняток WordPress. Стандартний файл WordPress блокує
/wp-admin/, але дозволяє/wp-admin/admin-ajax.php, який використовують функції фронтенду (WordPress developer reference).
Як перевірити robots.txt після публікації?
Використайте три перевірки: від найшвидшої до найповнішої.
- Відкрийте URL
https://yourdomain.com/robots.txtу браузері. Ви маєте побачити звичайний текст, а не HTML-сторінку чи 404. - Запустіть перевірку robots.txt, щоб побачити групи правил, карти сайту, проблеми та статус 14 AI user-agent.
- Відкрийте звіт robots.txt у Search Console. Він показує файли, які Google знайшов для 20 головних хостів вашого сайту, останнє сканування, попередження і дозволяє запросити повторне сканування після термінового виправлення (Search Console Help, robots.txt report).
Потім завершіть налаштування: створіть чисту карту сайту за допомогою генератора XML-карти сайту та файл llms.txt за допомогою генератора llms.txt, який дає AI-асистентам стислий опис ваших ключових сторінок.
Які обмеження має згенерований robots.txt?
Генератор пише правильний синтаксис, але не може знати ваш сайт. Він не перевіряє, чи містить заблокований шлях сторінки, які ви хочете бачити у видачі, і записує по одній групі за раз. Погані боти повністю ігнорують файл: robots.txt є проханням, а не стіною, тож блокуйте шкідливий трафік на рівні сервера чи фаєрвола. Нарешті, протокол стосується лише сканування. Сторінка, яку завантажують за запитом користувача, як-от ChatGPT-User чи Perplexity-User, може не дотримуватися правил robots.txt, про що обидва провайдери зазначають у своїй документації.
Як зробити сайт зручним для сканування та цитування?
Чистий robots.txt це перший крок. Наступні: публікувати сторінки, які варто сканувати, і перевіряти, що краулери справді повертаються.
- Стежте за скануванням і трафіком у дашборді GEO / SEO, що об'єднує Search Console, Analytics і візити з ChatGPT та Perplexity.
- Дивіться, які сайти цитують AI-асистенти у вашій ніші, за допомогою рейтингу GEO і на якому місці серед них ви.
- Публікуйте регулярно з генератором статей для блогу, щоб краулери завжди знаходили щось нове.
Robots.txt за дві хвилини одночасно захищає ваш краулінговий бюджет і вашу видимість у ШІ. Згенеруйте свій вище, перевірте його перевіркою, а потім ознайомтеся з тарифами Sorank, щоб ваш сайт залишався доступним для сканування й цитованим на autopilot.
