Заблоковано файлом robots.txt: що означає цей статус Search Console і як його виправити

Статус заблоковано файлом robots.txt з'являється у звіті про індексування сторінок Google Search Console, серед причин, чому сторінки не проіндексовано. Документація звіту про індексування сторінок описує його одним рядком: сторінку заблоковано файлом robots.txt вашого сайту. За цим рядком стоять дві дуже різні ситуації, корисне блокування і випадкове, а також схожий статус, що збиває з пантелику: «Проіндексовано, хоча заблоковано файлом robots.txt». Цей посібник показує, як їх розрізнити й виправити кожну, нічого не зламавши. Якщо сам файл для вас новий, почніть із нашого визначення robots.txt.

Що означає «Заблоковано файлом robots.txt» у Search Console?

Файл robots.txt розміщено в корені хоста (example.com.ua/robots.txt), і він повідомляє роботам, які шляхи їм можна завантажувати. Знайшовши URL за посиланням або в карті сайту, Googlebot спершу перевіряє цей файл. Якщо правило Disallow для його user-agent збігається зі шляхом, він не завантажує сторінку. Тоді Search Console показує URL у групі «Заблоковано файлом robots.txt».

Звідси два наслідки. Google не бачить ні вмісту, ні заголовка, ні внутрішніх посилань, ні метатегів сторінки. А оскільки він її не читає, то не бачить і тегу noindex. Статус належить до причин неіндексування й для більшості сайтів має довідковий характер: сам Google зазначає, що URL, заблоковані в robots.txt, найімовірніше закриті навмисно.

Проблема починається, коли в списку опиняються сторінки, які мають бути в Google: картки товарів, статті, категорії або весь сайт після переїзду. Тоді блокування стає прямою причиною того, що сайт не показується в Google, і це одна з технічних проблем, які виправляються найшвидше.

«Заблоковано файлом robots.txt» чи «Проіндексовано, хоча заблоковано»?

Другий статус виглядає суперечливо й найбільше турбує власників сайтів. Вступ Google до robots.txt пояснює: robots.txt не призначений для того, щоб приховати сторінку від Google. Якщо на заборонений URL посилаються інші сторінки, Google може проіндексувати саму адресу, не скануючи її. Тоді в результатах видно адресу без опису, бо Google так і не прочитав текст.

Головне, спершу вирішити, чого ви хочете для кожного URL: індексувати чи не індексувати. robots.txt відповідає на інше питання (сканувати чи не сканувати), і змішування цих питань породжує більшість помилок.

Чому ваші сторінки заблоковано в robots.txt?

Більшість випадкових блокувань зводиться до кількох причин. Перевірте їх у такому порядку:

• Правило тестового сервера потрапило на робочий сайт. Disallow: / захищає тестову версію, іде в реліз разом із запуском і закриває все.
• Налаштування CMS. У WordPress є опція «Попросити пошукові системи не індексувати сайт»; на інших платформах є подібні перемикачі, які змінюють robots.txt або додають заголовки.
• Надто широке правило. Disallow: /p закриває /products/ і /pricing/ так само, як /p/. Правила robots.txt порівнюються з початком шляху.
• Символи підстановки. * відповідає будь-якій послідовності символів, а $ позначає кінець URL. Disallow: /*? закриває всі URL із параметрами, зокрема сторінки пагінації чи фільтрів, які ви хочете бачити в індексі.
• Заблоковані ресурси. Закривши /assets/ або /wp-includes/, ви ховаєте CSS і JavaScript, потрібні Google для відтворення сторінки, і він гірше розуміє контент.
• Переїзд сайту. Шляхи змінюються, старий robots.txt залишається, або новий хостинг віддає власний файл за замовчуванням.
• Не той хост. Кожен піддомен і протокол має власний файл: правила на www.example.com.ua не діють на shop.example.com.ua.

Пам'ятайте, що Google застосовує найконкретніше правило (з найдовшим збіжним шляхом), а за однаково конкретних Allow і Disallow перемагає менш суворе. Точкове Allow: /blog/ може знову відкрити папку всередині ширшого блокування.

Як виправити «Заблоковано файлом robots.txt»: покроково

1. Вивантажте зачеплені URL

У Google Search Console відкрийте розділ «Індексування», потім «Сторінки», і натисніть рядок «Заблоковано файлом robots.txt». Вивантажте список і відсортуйте його за папками. Зазвичай закономірність видно за хвилину: одна директорія, один параметр, один піддомен.

2. Відокремте навмисні блокування від помилок

Позначте кожну групу як «залишити закритим» або «має бути в Google». Кошики, оформлення замовлення, особисті кабінети, результати внутрішнього пошуку та адмінка належать до першої групи. Усе, що відповідає на пошуковий запит, отримує посилання або є у вашій XML-карті сайту, до другої. URL, який водночас є в карті сайту і заблокований, це суперечність, яку треба усунути.

3. Знайдіть правило, що збігається

Відкрийте інструмент перевірки URL для однієї адреси зі списку: він покаже, чи дозволено сканування. Потім прочитайте робочий файл або вставте URL у наш безкоштовний інструмент перевірки robots.txt, щоб побачити, який рядок його блокує і для якого user-agent.

4. Відредагуйте файл

Видаліть або звузьте правило чи додайте конкретніше Allow. Вносьте мінімальну зміну й перевіряйте її і на URL, який треба відкрити, і на URL, який має залишитися закритим. Якщо файл заплутаний, зберіть чисту версію в нашому генераторі robots.txt і порівняйте перед публікацією.

5. Дайте Google прочитати новий файл

Згідно зі специфікацією robots.txt, Google зазвичай кешує файл до 24 годин. Щоб пришвидшити процес, відкрийте «Налаштування», потім звіт про файли robots.txt у Search Console (доступний для ресурсів рівня домену), і надішліть запит на повторне сканування файлу. Потім запросіть індексування найважливіших відкритих URL в інструменті перевірки URL.

6. Перевірте виправлення і стежте за результатом

Натисніть «Перевірити виправлення» на сторінці проблеми. Перевірка може тривати від кількох днів до кількох тижнів, а нові URL перевіряються в міру повторного сканування. Наш посібник з індексування в Google пояснює, що відбувається після сканування, коли Google вирішує, чи варто зберігати сторінку.

Як виправити «Проіндексовано, хоча заблоковано файлом robots.txt»

Рішення залежить від того, чого ви хочете від сторінки:

1. Сторінка має бути в Google. Зніміть блокування. Google просканує сторінку, прочитає вміст і покаже звичайний результат із заголовком та описом.
2. Сторінка не має бути в Google. Так само зніміть блокування, потім додайте <meta name="robots" content="noindex"> у head або HTTP-заголовок X-Robots-Tag: noindex для PDF та інших файлів. Коли Google повторно просканує сторінку й видалить її з індексу, можна знову закрити її, якщо важливий обсяг сканування, хоча більшості сайтів це не потрібно. Наше визначення noindex описує варіанти.
3. Сторінка взагалі не має бути публічною. Захистіть її паролем або видаліть (404 чи 410). Ні robots.txt, ні noindex не є засобами захисту.

Для фасетної навігації з тисячами URL фільтрів блокування в robots.txt може залишатися правильним інструментом, щоб заощаджувати краулінговий бюджет. Попередження «Проіндексовано, хоча заблоковано» для частини цих URL тоді прийнятне, якщо канонічні версії категорій доступні для сканування й проіндексовані.

Як переконатися, що виправлення спрацювало

Успішне виправлення підтверджують три сигнали. Перевірка робочого URL показує «Сканування дозволено: так». Кількість заблокованих сторінок у звіті про індексування зменшується в наступні тижні. А відкриті сторінки починають отримувати покази у звіті «Ефективність». Швидка перевірка в нашому інструменті перевірки індексованості знайде й інші перешкоди, що часто супроводжують помилки в robots.txt: забутий noindex, хибну канонічну адресу чи переспрямування.

Моніторинг важливий, бо такі помилки повертаються. Оновлення теми, плагін або скрипт деплою можуть переписати robots.txt непомітно для всіх. Стежити за сторінками, у яких різко падають кліки й покази, це найшвидший ранній сигнал.

Дашборд GEO / SEO у Sorank підключається до Search Console і показує сторінки, що зростають і падають, в одному вікні. Блокування, що з'явилося після деплою, видно як групу URL зі зниженням, а не як повільну незрозумілу втрату трафіку.

robots.txt, ШІ-краулери і GEO

robots.txt тепер має другу аудиторію: краулери ШІ-асистентів. OpenAI, Anthropic, Perplexity і Google публікують свої user-agent (GPTBot і OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended), які дотримуються robots.txt. Правило для одного з них або загальне блокування User-agent: * вирішує, чи зможуть ChatGPT, Claude або Perplexity прочитати ваші сторінки, коли шукають в інтернеті матеріал для відповіді.

Логіка та сама, що й із Google: вирішіть для кожного бота, чого ви хочете. Закрити краулери для навчання й дозволити пошукові краулери, поширений компроміс. Наш посібник з robots.txt для ШІ-краулерів перелічує user-agent і правила для кожного. Стаття глосарія про ШІ-краулери пояснює, який бот що робить.

Щоб побачити ефект цих рішень, відстежуйте промпти, важливі для вашого бізнесу. Відстеження згадок у ШІ в Sorank показує, чи цитують ваш сайт ChatGPT, Gemini або Claude і яких конкурентів вони називають замість вас.

Правило, яке варто запам'ятати

robots.txt вирішує, що роботам можна читати; noindex вирішує, що можна показувати в результатах пошуку. Закривайте лише розділи без пошукової цінності, ніколи не блокуйте сторінку, яку хочете проіндексувати чи прибрати з індексу, і перевіряйте звіт про індексування після кожного переїзду чи деплою. Більшість проблем зі статусом «заблоковано файлом robots.txt» вирішується за кілька хвилин, щойно знайдено потрібне правило, а дашборд Search Console у Sorank допомагає помітити наступну до того, як вона коштуватиме вам трафіку.