Screaming Frog SEO Spider: як налаштувати та провести повний аудит

Screaming Frog SEO Spider працює на Windows, macOS і Linux та виконується на вашому комп'ютері, тож його швидкість залежить від пам'яті вашої машини. Посібник користувача розробника документує кожне налаштування. Цей посібник охоплює те, що важливо для першого корисного аудиту.

Що робить Screaming Frog SEO Spider?

Він стартує з URL, переходить за кожним знайденим посиланням і записує те, що бот бачить на кожній сторінці. Цей процес називається скануванням. Для кожного URL ви отримуєте:

• код статусу HTTP (200, 301, 404, 500...) і час відповіді;
• тег title, meta description, H1 і H2 з їхньою довжиною;
• теги canonical, директиви meta robots та X-Robots-Tag, hreflang;
• внутрішні й зовнішні посилання, анкори, глибину сканування;
• зображення, їхній розмір і alt-текст;
• структуровані дані, кількість слів і розмір сторінки.

Цінність у перегляді в масштабі: 10'000 сторінок, відсортованих за проблемами за кілька хвилин, там де ручна перевірка забрала б тижні.

Безкоштовна версія чи платна ліцензія: яка вам потрібна?

Безкоштовної версії вистачає для малого сайту чи швидкої перевірки розділу. Щойно сайт перевищує 500 URL або вам потрібно рендерити JavaScript чи стежити за змінами в часі, ліцензія окуповується.

Які налаштування змінити перед першим скануванням?

1. Оберіть режим сканування

Режим Spider сканує від початкового URL. Режим List сканує лише ті URL, які ви вставите чи завантажите, що корисно для перевірки карти сайту, списку старих URL перед міграцією або набору цілей зворотних посилань.

2. Використовуйте зберігання в базі даних

У налаштуваннях перейдіть із пам'яті на зберігання в базі даних на SSD. Великі сканування стають можливими й зберігаються автоматично.

3. Увімкніть рендеринг JavaScript, якщо сайт цього потребує

Якщо контент або посилання додаються через JavaScript (React, Vue, деякі теми Shopify чи Webflow), встановіть рендеринг JavaScript. Тоді інструмент використовує headless-браузер Chromium, як рендерер Google. Порівняйте сирий і відрендерений HTML, щоб помітити контент, який існує лише після рендерингу.

4. Підключіть API

Підключіть Google Search Console, GA4 і PageSpeed Insights. Кліки, покази та Core Web Vitals з'являться поруч із кожним URL, а URL, знайдені в цих джерелах, але не під час сканування, виявляють сторінки-сироти.

5. Налаштуйте власне вилучення даних

За допомогою XPath, CSS-селекторів або regex вилучайте будь-який елемент: дату публікації, автора, ціну, наявність, тип схеми. Зручно для аудиту шаблонів у масштабі.

6. Поважайте сервер

Знизьте швидкість (потоки або URL за секунду) на слабкому хостингу, а user agent встановлюйте на Googlebot лише тоді, коли сайт не блокує невідомих ботів.

Як провести основні аудити крок за кроком?

Google пояснює, як обробляє коди статусу HTTP та канонічні URL: прочитайте обидва матеріали, перш ніж вирішувати, що перенаправляти чи об'єднувати.

Як експортувати та поширювати результати?

Кожна вкладка експортується в CSV, Excel або Google Sheets. Користуйтеся Bulk Export для об'єднаних даних (усі вхідні посилання на сторінки 4xx, усі зображення без alt-тексту) і меню Reports для ланцюжків редиректів чи помилок canonical. Для клієнта або розробника експортуйте лише відфільтрований список проблем з URL сторінки та джерелом проблеми: список із 40 битих посилань з їхніми сторінками-джерелами виправляють, а файл на 10'000 рядків ні. З ліцензією заплануйте щотижневе сканування та користуйтеся порівнянням сканувань, щоб бачити, що змінилося після кожного релізу.

Як сканування допомагає SEO та видимості в ШІ?

Краулер бачить ваш сайт так, як Googlebot, Bingbot та AI-краулери (GPTBot, ClaudeBot, PerplexityBot). Сторінка, до якої вони не можуть дістатися, яка повертає помилку або лежить на сьомому кліку, марнує краулінговий бюджет і має мало шансів бути проіндексованою Google чи отриманою ChatGPT і Perplexity. Чисте сканування (коди статусу 200, один canonical, мала глибина, справжні внутрішні посилання) є основою будь-якого технічного SEO-аудиту, ще до контенту й посилань.

Для однієї сторінки краулер потрібен не завжди: безкоштовний on-page SEO-аудит та безкоштовне розширення Sorank для Chrome показують виправлення для сторінки, яку ви переглядаєте, за кілька секунд.

Screaming Frog SEO Spider знаходить технічні проблеми всього сайту за лічені хвилини; робота, що приносить трафік, починається, коли ви виправляєте їх у порядку впливу. Коли база чиста, Sorank публікує оптимізовані статті з внутрішніми посиланнями на autopilot, щоб сайт і далі зростав у Google та в ШІ.