Налаштування

Ми цінуємо вашу приватність, тому ви можете вимкнути певні типи зберігання даних, які не потрібні для базової роботи вебсайту. Блокування категорій може вплинути на ваш досвід користування сайтом. Докладніше (Політика щодо файлів cookie)

Помилки сканування: як знайти, розставити пріоритети й виправити кожну

Виправте помилки сканування: DNS, сервер, robots.txt, 404, soft 404 і помилки переспрямування. Як реагує Googlebot і метод виправлення у 6 кроків.

Опубліковано
18/11/2026
Оновлено
18/11/2026
Час читання
19 хв
Помилки сканування: як знайти, розставити пріоритети й виправити кожну

Інструменти

На цій сторінці

Коротко

помилки сканування це запити пошукової системи або AI-краулера до вашого сайту, які завершуються невдачею: сервер не відповідає вчасно, DNS не відповідає, robots.txt не вдається завантажити, переспрямування зациклюється або сторінка повертає код 4xx чи 5xx. Помилки рівня сайту (DNS, сервер, robots.txt) можуть зупинити сканування Google на всьому сайті, тому виправляйте їх першими; помилки рівня URL (404, soft 404, помилки переспрямування) важливі лише тоді, коли зачіпають сторінки, які ви хочете бачити в індексі. Ви знаходите їх у звітах Search Console «Статистика сканування» та «Індексування сторінок», підтверджуєте краулером і серверними логами, потім усуваєте причину та запускаєте перевірку.

Хочете дізнатися більше? Запитайте

Швидкий тест

Хто має виправляти технічну частину вашого сайту?

Питання 1 з 425%
Що відбувається зараз?

Що таке помилки сканування і чим вони не є

Краулер працює як дуже терплячий відвідувач. Він запитує в сервера URL, чекає на відповідь, читає код стану та вміст, а потім переходить за знайденими посиланнями. Помилка сканування це будь-який крок цього ланцюжка, що не вдався. Відвідувач так і не отримує придатну сторінку.

Визначення важливе, бо багато звітів змішують помилки сканування з рішеннями щодо індексування. «Проскановано, наразі не проіндексовано» не є помилкою сканування: Google без проблем завантажив сторінку і вирішив її не зберігати. «Виключено тегом noindex» теж не помилка сканування: ви самі попросили Google прибрати сторінку. Помилка сканування означає, що збій стався в самому завантаженні.

Дві родини: помилки сайту та помилки URL

Google поділяє проблеми на два рівні, і вам варто робити так само.

  • Помилки сайту (Google називає їх проблемами зі статусом хоста): збої розпізнавання DNS, збої підключення до сервера та збої завантаження robots.txt. Вони зачіпають кожен URL на хості. Один поганий день тут може заморозити сканування всього сайту.
  • Помилки URL: сторінка повертає 404, 410, 401, 403, 5xx, soft 404 або непрацююче переспрямування. Вони зачіпають лише цей URL, і багато з них нешкідливі.

Помилки сайту та помилки URL

Помилки сайту (виправити сьогодні)
  • DNS не розпізнається
  • Сервер не відповідає вчасно або обриває з'єднання
  • robots.txt повертає 5xx або 429
  • Видно в «Статистиці сканування», розділ «Статус хоста»
  • Можуть призупинити сканування всіх сторінок
Помилки URL (сортувати)
  • 404, 410, soft 404
  • 401, 403, інші 4xx
  • Цикл переспрямувань або задовгий ланцюжок
  • Видно у звіті «Індексування сторінок»
  • Важливі лише для сторінок, які треба індексувати

Чому ця різниця змінює пріоритети

Інтернет-магазин із 4000 старих URL товарів, що повертають 404, може бути цілком здоровим, якщо ці товари зникли назавжди. Той самий магазин із robots.txt, який шість годин повертає 503, перебуває в справжній аварійній ситуації, навіть якщо всі картки товарів працюють. Починайте з хоста, потім з URL, які приносять гроші, потім з усього іншого.

Як Googlebot реагує на кожен збій

Щоб правильно виправляти помилки сканування, треба знати, що Google робить насправді, коли з ними стикається. Документація Google про те, як коди стану HTTP і мережеві помилки впливають на Google Пошук (Google Search Central), задає правила. Ось що вони означають на практиці.

Коди стану, за родинами

ВідповідьЩо робить GoogleЦе проблема?
2xxПередає вміст на індексування. Індексування не гарантоване.Ні, якщо сторінка не порожня (soft 404).
301, 308Сильний сигнал, що цільова адреса і є новим URL.Ні, якщо це один перехід на сторінку з кодом 200.
302, 303, 307Слабкий сигнал: вихідний URL зазвичай залишається канонічним.Так, якщо перенесення постійне.
Ланцюжки 3xxЗа замовчуванням проходить максимум 10 переходів, потім здається.Так: кожен перехід витрачає запит, а цикли ніколи не розв'язуються.
404, 410, інші 4xx (крім 429)Вважає вміст неіснуючим, з часом видаляє проіндексовані URL і сканує їх рідше.Лише якщо сторінка має існувати.
401, 403Як і інші 4xx. Вони не сповільнюють сканування.Так, якщо блокують Googlebot на публічних сторінках.
429Сприймається як сигнал перевантаження сервера, як 5xx.Так: сканування сповільнюється.
5xxСповільнює сканування пропорційно до кількості помилок. URL, які й надалі дають збій, видаляються з індексу.Так, завжди.

На двох деталях спотикаються багато команд. По-перше, 401 і 403 не знижують частоту сканування. Якщо сервер не справляється, повернення 403 для Googlebot не допоможе; Google просить натомість тимчасово повертати 503 або 429. По-друге, 404 це не санкція. Це правильна відповідь для сторінки, якої більше немає.

Збої robots.txt найнебезпечніші

Документація Google щодо звіту «Статистика сканування» (Довідка Search Console) пояснює правило. robots.txt, який відповідає 200 (навіть порожній) або 403, 404 чи 410 (файлу немає), у порядку. robots.txt, який відповідає 429 або 5xx, вважається збоєм, і тоді Google діє обережно.

Що робить Google, коли robots.txt і далі дає збій

Перші 12 годинGoogle повністю припиняє сканування сайту.
До 30 днівGoogle використовує останній успішно завантажений robots.txt.
Після 30 днівПоведінка залежить від того, чи доступна головна сторінка.

Джерело: Довідка Search Console, звіт «Статистика сканування»

Отже, правило CDN або файрвол, що віддають 503 за адресою /robots.txt, можуть заморозити весь сайт на пів дня, навіть якщо всі інші URL працюють. У будь-якому розслідуванні помилок сканування перевіряйте цей файл першим. Наш посібник щодо статусу «Заблоковано файлом robots.txt» розбирає протилежну проблему, коли файл працює, але блокує забагато.

Ліміти сканування Google, які варто запам'ятати

10переходів переспрямування максимум проходять краулери Google
12 годзупинки сканування, коли robots.txt повертає 5xx або 429
30 днівGoogle і далі використовує останній робочий robots.txt
5%щоденна частка збоїв DNS, наведена як приклад проблеми з хостом

Джерела: Google Search Central, коди стану HTTP і мережеві помилки; Довідка Search Console, звіт «Статистика сканування»

Ілюстрація краулера, що йде за посиланнями сайту, поки кілька зламаних сторінок ремонтують
Помилки сканування це точки, у яких шлях краулера вашим сайтом обривається.

Усі типи помилок сканування та способи їх виправити

Ось повний список того, що ви зустрінете в Search Console і в краулерах, із причиною та виправленням для кожного випадку. Назви відповідають документації Google щодо звіту «Індексування сторінок» (Довідка Search Console).

Помилки DNS

Google не зміг перетворити доменне ім'я на IP-адресу, або DNS-сервер не відповів. Часті причини: прострочений домен, збій у DNS-провайдера, хибний запис після міграції або помилка в налаштуванні DNSSEC. Перевірте запитом поза вашою мережею:

dig +short example.com A
dig +short www.example.com CNAME
dig example.com +dnssec

Виправлення: виправте записи, знижуйте TTL перед будь-якою міграцією і використовуйте DNS-провайдера з резервуванням. Якщо існують і example.com, і www.example.com, обидва мають розпізнаватися, навіть якщо один лише переспрямовує.

Помилки підключення до сервера та 5xx

Сервер не відповів вчасно, закрив з'єднання або відповів кодом 500, 502, 503 чи 504. Типові причини: перевантажена база даних, процес PHP або Node, що падає під навантаженням, тайм-аут зворотного проксі, оновлення плагіна або файрвол, який обмежує ботів. Подивіться на розподіл у часі: помилки щоночі о тій самій годині часто вказують на резервне копіювання або завдання cron.

Виправлення: вивчіть журнал помилок сервера в моменти, які вказує Google, збільште тайм-аути або кількість робочих процесів, кешуйте важкі сторінки і переконайтеся, що захист від ботів пропускає перевірений Googlebot. Для планових робіт повертайте 503 із заголовком Retry-After, а не сторінку з кодом 200 і написом «скоро повернемося»:

HTTP/1.1 503 Service Unavailable
Retry-After: 3600

404 і 410 (Не знайдено)

Сторінка не існує. Це нормально, якщо її видалили навмисно і на неї ніщо не посилається. Це проблема, якщо в URL досі є зворотні посилання, трафік або внутрішні посилання, або якщо сторінка має існувати, а її зламав деплой.

Виправлення: якщо вміст переїхав, поставте одну 301 на найближчий аналог. Якщо він зник назавжди, залиште 404 або використовуйте 410 і видаліть внутрішні посилання та записи в карті сайту, що на нього ведуть. Ніколи не переспрямовуйте всі 404 на головну: Google зазвичай вважає такі випадки soft 404.

Soft 404

Сервер відповідає 200, але сторінка виглядає порожньою або повідомляє «не знайдено»: порожня категорія, сторінка пошуку без результатів, товар, якого немає в наявності, без вмісту. Google витрачає на неї запит і нічого не отримує. Ми докладно розбираємо це в посібнику щодо помилок soft 404.

401, 403 та інші 4xx

Googlebot ніколи не надсилає облікові дані, тому 401 або 403 на публічній сторінці означає, що її блокує ваш сервер або шар захисту. Часті винуватці: пароль тестового середовища, забутий на робочому сайті, правило WAF, блокування за країнами або захист від хотлінкінгу, застосований до HTML. Виправляйте правило, а не симптом, і перевіряйте інструментом перевірки URL у Search Console.

Помилки переспрямування

Google повідомляє про помилку переспрямування, коли натрапляє на цикл, задовгий ланцюжок, URL, довший за допустимий, або хибний чи порожній URL у ланцюжку. Класичний випадок після міграції: http на https, потім на www, потім на завершальну скісну риску, потім на новий шлях. Чотири переходи там, де вистачило б одного. Наш повний посібник щодо SEO-переспрямувань пояснює, як їх об'єднати.

Порада

Вставте підозрілий URL у безкоштовний інструмент перевірки переспрямувань Sorank: він проходить увесь ланцюжок, показує кожен перехід і його код стану та підказує, де саме цикл або зайвий перехід.

Тайм-аути, обрізані відповіді та заважкі сторінки

Деякі помилки взагалі не показують код стану. Сторінка починає завантажуватися і зупиняється, або вона настільки важка, що краулер читає лише її частину. Краулери Google читають обмежену кількість байтів на файл, тож сторінка, роздута вбудованими скриптами або зображеннями в base64, може втратити вміст унизу. Перевіряйте важкі шаблони інструментом перевірки розміру сторінки.

Усі способи знайти помилки сканування: порівняння

Жоден інструмент не показує всіх помилок сканування. Кожен метод бачить проблему під своїм кутом, і серйозний аудит поєднує щонайменше два.

Метод 1: Search Console, звіт «Статистика сканування»

Принцип: Google показує власні запити сканування за останні 90 днів, згруповані за відповіддю, типом файлу, метою та типом Googlebot, а також статус хоста для DNS, сервера та robots.txt. Коли використовувати: завжди і насамперед для помилок сайту. Переваги: це істина з перших рук, від самого Google. Обмеження: лише для ресурсів кореневого рівня, приклади вибіркові, і Google каже, що сайтам до тисячі сторінок він рідко потрібен. Приклад: сплеск відповідей «тайм-аут сторінки» щонеділі о 3 ночі, що збігається з резервним копіюванням бази даних.

Сторінка Довідки Search Console про звіт «Статистика сканування»
Документація Google щодо звіту «Статистика сканування», де пояснюється статус хоста для DNS, сервера та robots.txt.

Метод 2: Search Console, звіт «Індексування сторінок» і перевірка URL

Принцип: перелічує відомі Google URL і причини, з яких вони не проіндексовані, наприклад «Помилка сервера (5xx)», «Помилка переспрямування», «Не знайдено (404)» або «Soft 404». Коли використовувати: для сортування помилок URL і перевірки виправлень. Переваги: прив'язаний до сторінок, які Google справді намагався завантажити. Обмеження: звіти запізнюються на кілька днів, списки прикладів обмежені, і він змішує помилки сканування з рішеннями щодо індексування. Приклад: 300 URL у розділі «Помилка переспрямування», і всі мають однаковий старий префікс /blog/.

Метод 3: Десктопний або хмарний краулер

Принцип: інструмент на кшталт Screaming Frog сканує сайт так, як це зробив би бот: іде за посиланнями з головної і записує кожен код стану, ланцюжок переспрямувань і бите посилання. Коли використовувати: до і після міграції, редизайну або великого деплою, а на великих сайтах щомісяця. Переваги: миттєво, повно для сторінок із посиланнями, показує, де розташоване кожне бите посилання. Обмеження: не знає, що насправді запитував Google, пропускає сторінки-сироти, а ваш сервер може поводитися з ним інакше, ніж із Googlebot. Наш посібник із налаштування Screaming Frog проводить через повний аудит.

Сторінка продукту Screaming Frog SEO Spider
Screaming Frog SEO Spider сканує сайт як бот і показує кожен код стану, ланцюжок переспрямувань і бите посилання.

Метод 4: Аналіз серверних логів

Принцип: журнали доступу фіксують кожен запит, зокрема запити Googlebot, Bingbot, GPTBot, ClaudeBot і PerplexityBot, із точним кодом стану та часом відповіді. Коли використовувати: на великих сайтах, після незрозумілого падіння трафіку і щоб побачити, що відвідують AI-краулери. Переваги: реальні запити, реальні коди, без вибірки, усі боти. Обмеження: потрібен доступ до логів і трохи скриптів; треба перевіряти, що «Googlebot» справді Google. Наш посібник з аналізу логів для SEO іде крок за кроком. Швидкий перший погляд:

# Запити Googlebot, що не повернули 200, 301 або 304, найчастіші зверху
grep -i "googlebot" access.log | awk '$9 !~ /^(200|301|304)$/ {print $9, $7}' | sort | uniq -c | sort -rn | head -50

Метод 5: Точкові перевірки окремих URL

Принцип: перевіряйте по одному URL через curl або безкоштовний онлайн-інструмент. Коли використовувати: щоб підтвердити виправлення або перевірити ключову сторінку після деплою. Переваги: миттєво і точно. Обмеження: не масштабується. Використовуйте user-agent Googlebot, щоб упіймати правила, які по-іншому поводяться з ботами:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page/
curl -sIL https://example.com/old-page/ | grep -iE "^(HTTP|location)"
МетодБачить помилки сайтуБачить помилки URLРеальні дані GooglebotБачить AI-краулерівНайкраще для
Статистика скануванняТакВибірковоТакНіЗдоров'я хоста
Індексування сторінокЧастковоТакТакНіСортування і перевірка
Краулер (Screaming Frog...)НіТак, сторінки з посиланнямиНіНіПошук битих посилань біля джерела
Серверні логиЧастковоТакТакТакВеликі сайти, першопричини
Перевірка одного URLНіПо одномуНіНіПідтвердження виправлень

5xx-помилки: читайте код стану, щоб знайти рівень, який зламався

Статус 5xx означає, що сервер не зміг обробити запит, який виглядав коректним. Google у відповідь сповільнює сканування, і сповільнює більше, коли більше ваших URL повертають помилки. Google деякий час зберігає вже проіндексовані URL, але вилучає ті, що стабільно повертають серверну помилку. Короткий сплеск можна пережити, бо Google поступово знову підвищує частоту сканування, щойно ваш сервер починає відповідати кодами 2xx. Довга серія помилок саме й псує індекс.

Код показує, який рівень вийшов з ладу

Кожен код 5xx вказує на іншу частину стеку. Таблиця дає перше місце, куди варто подивитися для кожного з них.

КодЩо зазвичай означаєЩо перевірити насамперед
500Застосунок збився під час обробки запитуЖурнал помилок застосунку на точний час запиту
502Проксі або CDN отримав некоректну відповідь від застосунку, часто через те, що він упав або перезапустивсяПерезапуски та час роботи процесу застосунку
503Сервіс перевантажений, обмежений за частотою запитів або на обслуговуванніГрафіки навантаження, історія розгортань і вікна технічного обслуговування
504Проксі перестав чекати на відповідь застосункуПовільні запити до бази даних і налаштування таймауту проксі
429Обмежувач частоти каже, що запитів забагатоПравила обмеження частоти і те, чи поширюються вони на перевіреного Googlebot

Зіставте часові позначки Google зі своїми логами

Статистика сканування показує дні й години, коли Google натрапив на помилки (наш посібник зі статистики сканування пояснює кожен графік). Серверний журнал показує, що відбувалося саме в ці моменти. Відфільтруйте запити Googlebot і порахуйте відповіді 5xx за годинами:

grep -i 'googlebot' access.log | awk '$9 ~ /^5/ {print substr($4,2,14), $9}' | sort | uniq -c

Кожен рядок результату: це година, код стану і кількість. Скупчення в ту саму годину щоночі зазвичай вказує на резервне копіювання, завдання cron або заплановане імпортування. Помилки, розкидані впродовж дня, зазвичай вказують на навантаження, тож розв'язок: потужність або кешування, а не одна окрема помилка. Глибший метод описано в нашому посібнику з аналізу файлів логів.

Оцініть, що коштує 5xx, перш ніж панікувати

Google зменшує сканування пропорційно до кількості URL, які повертають помилки. Зламаний шаблон, що зачіпає кілька URL, коштує вам мало часу сканування. Збій бази даних, який ламає кожну сторінку, коштує дуже дорого, і його треба полагодити першим.

Відповідь 429 діє так само, як 5xx, бо Google читає її як перевантажений сервер. Якщо ваш обмежувач або захист від ботів віддає Googlebot код 429, ви платите за це часом сканування. У документації Google не згадується заголовок Retry-After. Надсилайте його далі людям і API-клієнтам, але не розраховуйте, що Googlebot чекатиме вказаний вами час.

4xx-помилки: з'ясуйте, звідки вони беруться, перш ніж їх виправляти

Статус 4xx означає, що сервер відхилив запит через щось на боці клієнта: URL не існує, доступ заборонено або адресу сформовано некоректно. Google обробляє всі коди 4xx, крім 429, однаково. Він перестає використовувати вміст за цим URL і вилучає URL з індексу, якщо той був проіндексований. Перш ніж торкатися 4xx, з'ясуйте, звідки надходить запит, бо виправлення часто знаходиться в одному місці: в посиланні, шаблоні або правилі переспрямування.

Знайдіть джерело кожної 4xx у своїх логах

Журнал доступу фіксує реферер кожного запиту, тобто показує, яка сторінка надіслала відвідувача або бота на цей URL. Порахуйте відповіді 4xx за шляхами та за рефером:

awk '$9 ~ /^4/ {print $9, $7}' access.log | sort | uniq -c | sort -rn | head -20
awk '$9 ~ /^4/ {print $11, $7}' access.log | sort | uniq -c | sort -rn | head -20

Читайте стовпець реферера так:

  • Реферер з вашого власного домену означає, що одна з ваших сторінок посилається на мертвий URL. Виправте посилання або шаблон, який його виводить. Це найцінніше виправлення, бо ним ви можете керувати. Наш посібник щодо виправлення битих посилань описує повний метод.
  • Реферер з іншого сайту означає, що зворотне посилання веде на URL, який більше не працює. Якщо посилання варто зберегти, додайте одне переспрямування 301 на найближчу робочу сторінку. Якщо ні, залиште 404 як є.
  • Порожній реферер або шлях, який ви ніколи не публікували, наприклад сторінка входу на статичному сайті, зазвичай означає, що адресу перебрав бот або сканер. Нехай вона повертає 404, і не витрачайте на це час.

Ловіть сплески 4xx одразу після кожного релізу

Реліз, який перейменовує маршрут, змінює slug або перебудовує шаблон, часто в той самий день спричиняє хвилю 404. Вивантажте кількість відповідей 4xx за днями за тиждень до викладки і за тиждень після. Зростання, зосереджене в одній папці, вказує прямо на зміну. Додайте переспрямування зі старого URL на новий у тому самому релізі, а не в окремому завданні пізніше. Для повного переносу див. наш чек-лист SEO-міграції.

Порада

Не замінюйте відсутню сторінку відповіддю 200, яка показує коротке повідомлення або порожній список. Google може вважати її soft 404, а це коштує повного завантаження і нічого не повертає.

Покроково: виправляйте помилки сканування в правильному порядку

Це метод, яким користуємося ми. Він іде від помилок, здатних зупинити весь сайт, до тих, що лише трохи марнують сканування.

Метод виправлення помилок сканування у 6 кроків

  1. Перевірте статус хостаВідкрийте «Статистику сканування» і подивіться DNS, підключення до сервера та robots.txt за останні 90 днів.
  2. Вивантажте та згрупуйте помилки URLВивантажте кожну причину з «Індексування сторінок» і згрупуйте URL за папкою або шаблоном.
  3. Відсортуйте за цінністюЗалиште URL із трафіком, зворотними посиланнями, внутрішніми посиланнями або записами в карті сайту.
  4. Виправте причину на рівні шаблонуОдне правило, одна карта переспрямувань або одне налаштування сервера виправляють сотні URL.
  5. Очистьте сигналиОновіть внутрішні посилання та карти сайту, щоб вони вели на кінцеві URL із кодом 200.
  6. Перевірте та спостерігайтеНатисніть «Перевірити виправлення», а потім щотижня стежте за «Статистикою сканування» і логами.

Крок 1: спершу перевірте хост

У Search Console відкрийте «Налаштування», потім «Статистика сканування», потім «Статус хоста». Зелений колір означає відсутність серйозних проблем за 90 днів. «Нещодавня проблема» означає серйозну проблему за останній тиждень: відкладіть усе інше. Натисніть на кожну категорію, щоб побачити частку збоїв за днями, а потім зіставте погані дні з історією хостингу, CDN і деплоїв.

Крок 2: вивантажте та згрупуйте за шаблоном

Відкрийте «Індексування», потім «Сторінки», і вивантажте кожну причину помилки. Не виправляйте URL по одному. Перенесіть їх у таблицю і витягніть першу папку:

=REGEXEXTRACT(A2, "^https?://[^/]+(/[^/]*/?)")

Зведена таблиця за цим стовпцем зазвичай показує, що більшість помилок походить із двох-трьох шаблонів: закритої категорії блогу, параметра фільтра, старого фіда товарів.

Крок 3: відсортуйте за цінністю для бізнесу

Для кожного шаблону поставте чотири запитання. Чи отримує він органічні кліки? Чи має зворотні посилання? Чи є на нього внутрішні посилання? Чи є він у карті сайту? 404 без жодної з цих ознак може чекати вічно. 404 зі зворотними посиланнями потребує 301 уже сьогодні. Безкоштовний інструмент пошуку битих посилань показує, які з ваших сторінок досі посилаються на мертві URL.

Крок 4: усуньте першопричину

Виправляйте правила, а не URL. Карта переспрямувань у конфігурації сервера краща за 400 переспрямувань, доданих уручну в плагіні. Наприклад, у nginx:

map $request_uri $new_uri {
    /old-blog/seo-tips/    /blog-geo-seo/seo-best-practices/;
    /old-blog/sitemaps/    /blog-geo-seo/how-to-create-a-sitemap/;
}
server {
    if ($new_uri) { return 301 $new_uri; }
}

Для 5xx виправте потужність сервера або помилку. Для 401 і 403 виправте правило безпеки. Для soft 404 або додайте справжній вміст, або повертайте справжній 404.

Крок 5: очистьте внутрішні посилання та карти сайту

Кожне внутрішнє посилання має вести прямо на URL, який повертає 200. Кожен запис у карті сайту має бути канонічним, індексованим URL із кодом 200. Карта сайту, повна переспрямувань і 404, привчає Google довіряти їй менше. Наш посібник про те, як створити карту сайту, пояснює, що до неї має входити.

Крок 6: перевірте та спостерігайте

У звіті «Індексування сторінок» відкрийте виправлену причину і натисніть «Перевірити виправлення». Google спочатку перевіряє вибірку, потім решту; зазвичай це триває приблизно до двох тижнів, і перевірка зупиняється, якщо хоч один URL досі дає збій. Не натискайте повторно, поки вона триває. Потім заведіть щотижневу рутину: «Статистика сканування» для хоста, логи для сплесків, сканування після кожного деплою.

Ланцюжок переспрямувань до і після виправлення

До
  • http://site.com/page
  • 301 на https://site.com/page
  • 301 на https://www.site.com/page
  • 301 на https://www.site.com/page/
  • Внутрішні посилання досі ведуть на перший URL
Після
  • Одна 301 одразу на https://www.site.com/page/
  • Внутрішні посилання оновлено на кінцевий URL
  • Карта сайту містить лише кінцевий URL
  • Один запит замість чотирьох

Поширені помилки: як їх помітити та виправити

Помилка 1: переспрямування всіх 404 на головну

Що це: плагін або правило, яке надсилає будь-який відсутній URL на /. Як помітити: багато URL у розділах «Soft 404» або «Сторінка з переспрямуванням», і всі вони ведуть на головну; краулер показує сотні 301 з однаковою ціллю. Як виправити: переспрямовуйте лише на близький аналог, а решта хай повертає 404 або 410.

Помилка 2: блокування Googlebot засобами захисту

Що це: WAF, менеджер ботів або обмежувач частоти, який віддає Google 403, 429 або сторінку перевірки. Як помітити: 403 або 429 у «Статистиці сканування», хоча у вашому браузері сторінка відкривається нормально; логи показують блокування за IP. Як виправити: дозвольте перевірений Googlebot через зворотний DNS або опубліковані Google діапазони IP, а не довіряйте рядку user-agent.

Помилка 3: крихкий robots.txt

Що це: robots.txt генерується застосунком і тому ламається щоразу, коли ламається застосунок, або віддається через правило CDN, яке кешує 5xx. Як помітити: категорія завантаження robots.txt у «Статусі хоста» не зелена. Як виправити: віддавайте його як статичний файл поза застосунком і перевіряйте інструментом перевірки robots.txt.

Помилка 4: сторінки технічних робіт, що повертають 200

Що це: сторінка «Скоро повернемося», яка віддається з кодом 200 на всіх URL. Як помітити: після технічних робіт хвиля soft 404 або дубльованих заголовків. Як виправити: під час технічних робіт повертайте 503 з Retry-After і робіть їх короткими.

Помилка 5: використання 403, щоб сповільнити Google

Що це: відповідь 403 для Googlebot, коли сервер перевантажений. Як помітити: сплески 403, що збігаються з піками навантаження. Як виправити: Google каже, що коди 4xx, крім 429, не впливають на частоту сканування. Ненадовго повертайте 503 або 429 і збільште потужність.

Помилка 6: виправлення помилок по одній

Що це: гортати список у Search Console і редагувати кожен URL. Як помітити: та сама причина повертається щомісяця. Як виправити: групуйте за шаблоном, виправте шаблон або правило, потім запустіть перевірку один раз.

Помилка 7: паніка через нешкідливі 404

Що це: витрачати дні на 404 для спамних URL або давно видалених сторінок без посилань. Як помітити: ці URL не мають кліків, зворотних і внутрішніх посилань. Як виправити: залиште їх. Google каже, що 404 для видаленої сторінки не обов'язково є проблемою.

Увага

Ніколи не блокуйте URL у robots.txt, щоб «сховати» помилку сканування. Google більше не побачить 404 або переспрямування, URL може залишитися в індексі, а ви втратите сигнал, який намагалися передати.

Помилки сканування та краулінговий бюджет

На сайті з кількох сотень сторінок Google має час на все, і помилки сканування важливі здебільшого для тих сторінок, які вони ламають. На великих сайтах (магазини з фільтрами, маркетплейси, новинні сайти) кожен невдалий або змарнований запит забирає час у ваших справжніх сторінок. У цьому й полягає ідея краулінгового бюджету.

Як помилки з'їдають ресурс сканування

Через 5xx і 429 Google сповільнюється на всьому хості, тож кілька зламаних шаблонів можуть затримати сканування ваших нових карток товарів. Ланцюжки переспрямувань коштують по запиту на кожен перехід. Soft 404 коштує повного завантаження і нічого не дає натомість. Виправте ці три речі, і той самий бюджет покриє більше корисних сторінок.

До чого тут «Виявлено, не проіндексовано»

Коли Google знаходить URL, але відкладає їх сканування, причиною часто є сервер, який він вважає ненадійним. Якщо ви бачите, що зростає кількість сторінок «Виявлено, наразі не проіндексовано», а в «Статистиці сканування» є помилки сервера, спершу виправте сервер. Обидва звіти розповідають одну й ту саму історію.

Помилки сканування для AI-краулерів

Googlebot уже не єдиний важливий відвідувач. GPTBot, OAI-SearchBot, ClaudeBot і PerplexityBot завантажують сторінки, щоб навчати моделі або відповідати на запитання в реальному часі. Вони звертаються до того самого сервера і страждають від тих самих помилок, з однією відмінністю: для них немає Search Console.

Що змінюється з AI-ботами

Більшість AI-краулерів не виконують JavaScript, тож сторінка, яка збирає вміст лише в браузері, може здаватися їм порожньою: це своєрідний soft 404, якого ви ніколи не побачите у звітах Google. Багатьох із них за замовчуванням блокують сервіси захисту від ботів, часто кодом 403. А оскільки вони завантажують сторінки на вимогу, коли користувач ставить запитання, тайм-аут у цю мить означає, що відповідь процитує когось іншого. Наш посібник з SEO для JavaScript розбирає рендеринг і для пошукових, і для AI-краулерів.

Як за ними стежити

Серверні логи єдине надійне джерело. Відфільтруйте за user-agent і подивіться коди стану:

grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn

Якщо AI-боти отримують 403, яких ви не планували, виправте правило. Потім перевірте, чи справді вони вас цитують: відстеження згадок в AI від Sorank показує, як часто ChatGPT, Gemini, Claude і Perplexity згадують ваш бренд, і ви бачите, чи змінило щось виправлення сканування.

Ваш чек-лист здоров'я сканування

Проходьте цей список після кожної міграції, редизайну або великого деплою, а на великих сайтах раз на місяць.

Чек-лист здоров'я сканування

  • Статус хоста зелений для DNS, підключення до сервера та robots.txt
  • robots.txt віддається як статичний файл і повертає 200
  • Немає сплесків 5xx або 429 у «Статистиці сканування» чи в логах
  • Файрвол не блокує перевірений Googlebot і потрібних AI-ботів
  • Кожне переспрямування це один перехід, 301 або 308, на сторінку з кодом 200
  • Внутрішні посилання ведуть на кінцеві URL із кодом 200
  • Карти сайту містять лише канонічні індексовані URL із кодом 200
  • 404 зі зворотними посиланнями або трафіком переспрямовано на близький аналог
  • Порожні сторінки виправлено або вони повертають справжній 404
  • Технічні роботи повертають 503 з Retry-After
  • «Перевірити виправлення» запущено для кожної виправленої причини

Що зробити сьогодні

Відкрийте «Статистику сканування» і перевірте три рядки статусу хоста. Потім запустіть безкоштовний інструмент перевірки індексованості для п'яти найцінніших сторінок. Якщо і там, і там чисто, вивантажте помилки з «Індексування сторінок» і згрупуйте їх за папками: у вас з'явиться короткий упорядкований список виправлень замість страшного звіту.

Коли сканування в порядку, наступним обмеженням стає сам вміст. Оптимізація контенту від Sorank переписує та оновлює ваші наявні сторінки в режимі autopilot, щоб сторінки, до яких тепер дістається Google, варто було індексувати й цитувати. Для сторінок, які Google просканував, але не включив до індексу, прочитайте наш посібник щодо статусу «Проскановано, наразі не проіндексовано».

Поширені запитання

Що таке помилки сканування в SEO?

Помилки сканування це невдалі запити пошукової системи або AI-краулера: DNS не розпізнається, сервер не відповідає вчасно або повертає 5xx, robots.txt не вдається завантажити, переспрямування зациклюється або сторінка повертає код 4xx. Помилки рівня сайту можуть призупинити сканування всього сайту, а помилки URL зачіпають лише конкретну сторінку.

Чи шкодять помилки 404 SEO?

Самі по собі ні. Google каже, що 404 для сторінки, видаленої без заміни, не обов'язково є проблемою. Проблемою це стає, коли в URL залишилися зворотні посилання, трафік або внутрішні посилання, і тоді правильне рішення це одна 301 на близький аналог.

Скільки часу потрібно Google, щоб побачити виправлення помилок сканування?

Після натискання «Перевірити виправлення» у звіті «Індексування сторінок» Search Console перевірка зазвичай триває приблизно до двох тижнів. Google спочатку перевіряє вибірку URL, потім решту, і зупиняє перевірку, якщо хоч один зачеплений URL досі дає збій.

Отримайте безкоштовний контент-план на 30 днів

Ми аналізуємо ваших конкурентів, ваш сайт і вашу видимість у ШІ, щоб безкоштовно скласти персоналізований контент-план.

Наші безкоштовні SEO-інструменти

Переглянути всі наші безкоштовні інструменти

Отримайте безкоштовний контент-план на 30 днів

Ми аналізуємо ваших конкурентів, ваш сайт і вашу видимість у ШІ, щоб безкоштовно скласти персоналізований контент-план.

Чоловік із темним волоссям і бородою в світло-коричневій сорочці говорить перед мікрофоном у студії подкастів або запису.Портрет чоловіка з короткою темною зачіскою у білій сорочці та темному піджаку, який дивиться прямо в камеру з нейтральним виразом обличчя.Чоловік із короткою темною зачіскою, бородою та прозорими окулярами в чорній футболці з білим круглим логотипом стоїть перед кам'яною стіною.Celio fabianoУсміхнена молода жінка з довгим каштановим волоссям у червоному топі та намисті на тлі дерев просто неба.Фото профілю Xavier Breull, клієнта Sorank
Google
Суцільна жовта п'ятикутна зірка на прозорому тлі.Суцільна жовта п'ятикутна зірка на прозорому тлі.Суцільна жовта п'ятикутна зірка на прозорому тлі.Суцільна жовта п'ятикутна зірка на прозорому тлі.Суцільна жовта п'ятикутна зірка на прозорому тлі.
5/5
+5,000
користувачів

Відгуки амбітних засновників

Від 0 до 10000 відвідувачів за 5 місяців

Celio Fabianomonrobotlavevitre.frGoogleЕлектронна комерція

Від 0 до 5000 відвідувань за 8 місяців

Thibault BMsorank.comGoogleПрограмне забезпечення

від 0 до 1104 кліків за 4 місяці

Dominiqueflight-sensations-idf.comGoogleВідпочинок та авіація

Від 0 до 163 кліків за 6 місяців

Coworking Pariscoworking-paris.frGoogleOffice broker

x92 кліки за 7 місяців

Guide Zanzibarguidezanzibar.comGoogleПодорожі