Screaming Frog SEO Spider: как настроить и провести полный аудит

Screaming Frog SEO Spider работает в Windows, macOS и Linux и запускается на вашем компьютере, поэтому его скорость зависит от памяти машины. Руководство пользователя разработчика описывает каждую настройку. Здесь разобрано то, что важно для первого полезного аудита.

Что делает Screaming Frog SEO Spider?

Он начинает с одного URL, переходит по каждой найденной ссылке и записывает, что бот видит на каждой странице. Этот процесс называется сканированием. Для каждого URL вы получаете:

• код ответа HTTP (200, 301, 404, 500...) и время ответа;
• тег title, мета-описание, H1 и H2 с их длиной;
• теги canonical, директивы meta robots и X-Robots-Tag, hreflang;
• внутренние и внешние ссылки, анкоры, глубину обхода;
• изображения, их размер и альтернативный текст;
• структурированные данные, число слов и размер страницы.

Ценность в обзоре в масштабе: 10'000 страниц, отсортированных по проблемам за несколько минут, там, где ручная проверка заняла бы недели.

Бесплатная версия или платная лицензия: что вам нужно?

Бесплатной версии достаточно для небольшого сайта или быстрой проверки раздела. Как только сайт перевалил за 500 URL или нужно рендерить JavaScript либо следить за изменениями во времени, лицензия окупается.

Какие настройки стоит изменить перед первым обходом?

1. Выберите режим сканирования

Режим Spider обходит сайт от стартового URL. Режим List сканирует только URL, которые вы вставили или загрузили, что полезно для проверки карты сайта, списка старых URL перед миграцией или набора целевых страниц обратных ссылок.

2. Используйте хранилище в базе данных

В настройках переключитесь с хранения в памяти на хранение в базе данных на SSD. Крупные обходы становятся возможными и сохраняются автоматически.

3. Включите рендеринг JavaScript, если сайту это нужно

Если контент или ссылки вставляются JavaScript (React, Vue, некоторые темы Shopify или Webflow), переключите рендеринг на JavaScript. Тогда инструмент использует браузер Chromium без интерфейса, как рендерер Google. Сравните исходный и отрендеренный HTML, чтобы заметить контент, который существует только после рендеринга.

4. Подключите API

Подключите Google Search Console, GA4 и PageSpeed Insights. Клики, показы и Core Web Vitals появятся рядом с каждым URL, а URL, найденные в этих источниках, но не в обходе, выдают страницы-сироты.

5. Настройте пользовательское извлечение

С помощью XPath, CSS-селекторов или регулярных выражений извлекайте любой элемент: дату публикации, автора, цену, наличие на складе, тип схемы. Удобно для аудита шаблонов в масштабе.

6. Берегите сервер

Снизьте скорость (потоки или URL в секунду) на слабом хостинге и задавайте юзер-агент Googlebot только если сайт не блокирует неизвестных ботов.

Как шаг за шагом провести основные аудиты?

Google объясняет, как он обрабатывает коды состояния HTTP и канонические URL: прочитайте оба материала, прежде чем решать, что перенаправлять или объединять.

Как экспортировать результаты и делиться ими?

Каждая вкладка экспортируется в CSV, Excel или Google Таблицы. Используйте Bulk Export для сводных данных (все входящие ссылки на страницы 4xx, все изображения без alt) и меню Reports для цепочек редиректов или ошибок canonical. Для клиента или разработчика экспортируйте только отфильтрованный список проблем с URL страницы и источником проблемы: список из 40 битых ссылок с исходными страницами будет исправлен, файл на 10'000 строк нет. С лицензией настройте еженедельный обход и используйте сравнение обходов, чтобы видеть, что изменилось после каждого релиза.

Чем обход помогает SEO и видимости в нейросетях?

Краулер видит ваш сайт так, как его видят Googlebot, Bingbot и ИИ-краулеры (GPTBot, ClaudeBot, PerplexityBot). Страница, до которой они не могут добраться, которая возвращает ошибку или лежит на глубине семи кликов, тратит впустую краулинговый бюджет и вряд ли будет проиндексирована Google или получена ChatGPT и Perplexity. Чистый обход (коды 200, один canonical, небольшая глубина, настоящие внутренние ссылки): основа любого технического SEO-аудита, ещё до контента и ссылок.

Для одной страницы краулер нужен не всегда: бесплатный аудит страницы SEO и бесплатное расширение Sorank для Chrome за несколько секунд показывают исправления для просматриваемой страницы.

Screaming Frog SEO Spider находит технические проблемы всего сайта за минуты; работа, которая приносит трафик, начинается, когда вы исправляете их в порядке влияния. Когда база приведена в порядок, Sorank публикует оптимизированные статьи с внутренними ссылками на autopilot, чтобы сайт продолжал расти в Google и в ИИ.