Excluded by 'noindex' tag: це нормально і як це виправити?

«Excluded by 'noindex' tag» - єдиний статус індексування, який ви створюєте самі, навмисно чи випадково. Документація Google до звіту «Індексування сторінок» описує цю причину трьома реченнями: «Коли Google намагався проіндексувати сторінку, він зіткнувся з директивою «noindex» і тому не проіндексував її. Якщо ви не хочете, щоб ця сторінка індексувалася, вітаємо! Якщо ж ви хочете, щоб вона індексувалася, вам потрібно видалити директиву «noindex»». Цей посібник допоможе визначити, на якому боці цього речення опинився кожен URL, знайти точне джерело небажаного правила і виправити його, нічого не зламавши.

Що означає «Excluded by 'noindex' tag»?

Правило noindex просить пошукові системи не показувати сторінку в результатах. Google читає його в двох місцях, як пояснює його посібник про блокування індексування за допомогою noindex:

• Метатег robots у <head> HTML: <meta name="robots" content="noindex"> для всіх пошукових систем або name="googlebot" лише для Google.
• HTTP-заголовок X-Robots-Tag, який сервер надсилає разом із відповіддю, зі значенням noindex або none. Це єдиний варіант для файлів без HTML, наприклад PDF.

Щойно Googlebot знаходить будь-що з цього, він тримає URL поза індексом. Статус відображається в Search Console у розділі «Індексування», далі «Сторінки», у таблиці «Why pages aren't indexed». Довідка називає ту саму причину «URL marked 'noindex'»: обидві мітки описують одну ситуацію.

Три факти змінюють те, як читати звіт:

• Google виконав вашу вказівку. На відміну від «Crawled - currently not indexed», де Google сам вирішує не індексувати сторінку, цей статус відображає вказівку, яку надіслав ваш сайт.
• Потрібне сканування. Google може побачити правило noindex лише на сторінці, яку йому дозволено завантажити. Сторінка, заблокована в robots.txt, ніколи не отримує цього статусу.
• Правило може з'явитися на будь-якому етапі. HTML, CMS, плагін, тема, налаштування сервера і CDN можуть кожен додати його, а вихідний код сторінки не показує HTTP-заголовки.

Це норма чи помилка?

У більшості сайтів є URL у цьому статусі, і багато з них там і мають бути. Google зазначає, що сторінки, перелічені як неіндексовані, там опинилися «не обов'язково через помилку». Перш ніж щось виправляти, відсортуйте список за типом URL.

Останній рядок важливіший, ніж здається. Карта сайту каже Google «проіндексуй ці сторінки», а noindex каже протилежне. Залишайте в карті сайту лише індексовані й канонічні URL (наш посібник про надсилання карти сайту до Google пояснює, як її очистити).

Звідки береться небажаний noindex?

Коли на важливій сторінці стоїть noindex, причина майже завжди в одному з джерел нижче. Перевіряйте їх у такому порядку: від найчастіших до найрідкісніших.

Випадок із WordPress досить поширений, щоб його назвати. Згідно з документацією WordPress щодо екрана «Читання», позначка «Discourage search engines from indexing this site» додає noindex,nofollow у head кожної сторінки (з версії 5.3). Однієї забутої галочки після запуску достатньо, щоб прибрати весь сайт із Google. Запуски й редизайни є найризикованішими моментами, тому чек-лист SEO-міграції завжди містить перевірку правил сканування. Налаштування, специфічні для WordPress, описані на нашій сторінці SEO і GEO для WordPress.

Як діагностувати статус покроково?

1. Відкрийте звіт. У Search Console перейдіть до «Індексування», далі «Сторінки», натисніть «Excluded by 'noindex' tag» і експортуйте список.
2. Відсортуйте URL за таблицею вище. Відкладіть ті, які мають залишитися поза індексом.
3. Перевірте один важливий URL. Вставте його в інструмент «Перевірка URL». Рядок «Indexing allowed?» покаже, чи бачив Google noindex і чи походить він із метатегу robots або з заголовка X-Robots-Tag.
4. Перевірте живий URL. Натисніть «Test live URL»: якщо в живій версії немає noindex, правило вже прибрано, і Google потрібне лише повторне сканування.
5. Перевірте обидва місця самостійно. Шукайте noindex у вихідному коді сторінки, потім у заголовках відповіді (інструменти розробника браузера, вкладка Network). Безкоштовний перевірювач HTTP-заголовків показує X-Robots-Tag без відкриття інструментів розробника, а перевірювач індексованості перевіряє метатег, заголовок і robots.txt за один раз.
6. Знайдіть джерело за таблицею джерел, починаючи з налаштування CMS і SEO-плагіна.

Як це виправити?

Виправлення залежить від джерела. Змінюйте налаштування там, де створюється правило, а не лише видимий результат, інакше воно повернеться з наступним оновленням.

Після виправлення запросіть індексування найважливіших URL в інструменті «Перевірка URL» і повторно надішліть карту сайту, якщо зачеплено багато сторінок. Для групи виправлених URL натисніть у звіті «Validate fix». Google повідомляє, що перевірка «typically takes up to about two weeks, but in some cases can take much longer». Спочатку очистьте кеш сторінки або CDN, інакше Google може завантажити стару версію зі старим правилом. Якщо сторінки досі не з'являються через кілька тижнів, наш посібник про індексування сторінок Google перелічує наступні кроки, а якщо вони переходять до Crawled - currently not indexed, проблема вже в контенті, а не в правилі.

Noindex, robots.txt чи canonical: що обрати?

Ці три інструменти часто плутають, а неправильне поєднання дає найзаплутаніші звіти.

Google говорить про це прямо: якщо robots.txt блокує сторінку, то «the crawler will never see the noindex rule». Якщо хочете, щоб сторінка вийшла з індексу, залиште її доступною для сканування з noindex, доки вона не зникне, і лише потім вирішуйте, чи блокувати її. Перевірте файл за допомогою перевірювача robots.txt і прочитайте специфікацію метатегу robots для повного списку правил: там також зазначено, що за конфлікту застосовується «the more restrictive rule applies».

Чому це важливо для SEO і видимості в ШІ?

Сторінка під noindex не отримує органічних кліків із Google, якою б якісною вона не була. На великому сайті небажане правило в шаблоні може прибрати сотні сторінок товарів або статей одразу, і перша ознака часто: падіння трафіку через кілька тижнів. Якщо ваш сайт здається повністю зниклим, почніть із нашого чек-листа про сайт, який не з'являється в Google.

Асистенти ШІ додають другу втрату. ChatGPT, Perplexity і Gemini часто відповідають, завантажуючи сторінки з індексів веб-пошуку і цитуючи їх, тож сторінка, якої немає в індексі, майже не має шансів бути процитованою. Наше дослідження про платформи, які ШІ цитує найчастіше, показує, яким джерелам вони надають перевагу.

Наш продукт Sorank: програмне забезпечення для SEO і GEO в режимі autopilot. Його панель GEO і SEO показує кліки, покази й позиції з Search Console, тож раптове падіння показів у групі сторінок помітно швидко, а безкоштовне розширення Sorank для Chrome позначає SEO-проблеми на кожній відкритій сторінці.

Коротко: залишайте noindex на сторінках, які ніколи не мають ранжуватися, і прибирайте його у джерелі на тих, які мають, тримайте карту сайту без URL із noindex і ніколи не блокуйте сторінку в robots.txt, поки Google ще має прочитати її noindex. Щоб публікувати сторінки, створені для індексування і цитування, перегляньте тарифи Sorank: від 49€ на місяць, з безкоштовною пробною версією на 3 дні.