Screaming Frog SEO Spider : comment le configurer et mener un audit complet

Screaming Frog SEO Spider fonctionne sous Windows, macOS et Linux, depuis votre machine : sa vitesse dépend donc de votre mémoire. Le guide d'utilisation de l'éditeur documente chaque réglage. Ce guide couvre ce qui compte pour un premier audit utile.

Que fait Screaming Frog SEO Spider ?

Il part d'une URL, suit chaque lien trouvé et enregistre ce qu'un robot voit sur chaque page. Ce processus s'appelle l'exploration (crawl). Pour chaque URL, vous obtenez :

• le code de statut HTTP (200, 301, 404, 500...) et le temps de réponse ;
• la balise title, la meta description, le H1 et les H2, avec leur longueur ;
• les balises canoniques, meta robots et X-Robots-Tag, les hreflang ;
• les liens internes et externes, les ancres, la profondeur de crawl ;
• les images, leur poids et leur texte alternatif ;
• les données structurées, le nombre de mots et le poids de la page.

Sa valeur tient à la vue d'ensemble : 10'000 pages triées par problème en quelques minutes, là où une vérification manuelle prendrait des semaines.

Version gratuite ou licence payante : laquelle choisir ?

La version gratuite suffit pour un petit site ou le contrôle rapide d'une rubrique. Dès qu'un site dépasse 500 URL, ou s'il faut rendre le JavaScript ou suivre l'évolution dans le temps, la licence est vite rentabilisée.

Quels réglages modifier avant le premier crawl ?

1. Choisir le mode de crawl

Le mode Spider explore à partir d'une URL de départ. Le mode List n'explore que les URL que vous collez ou importez : utile pour vérifier un sitemap, une liste d'anciennes URL avant une migration ou des pages cibles de backlinks.

2. Passer au stockage en base de données

Dans les réglages, passez du stockage en mémoire au stockage en base de données sur un SSD. Les gros crawls deviennent possibles et sont sauvegardés automatiquement.

3. Activer le rendu JavaScript si le site en a besoin

Si le contenu ou les liens sont injectés en JavaScript (React, Vue, certains thèmes Shopify ou Webflow), réglez le rendu sur JavaScript. L'outil utilise alors un navigateur Chromium sans interface, comme le moteur de rendu de Google. Comparez le HTML brut et le HTML rendu pour repérer le contenu qui n'existe qu'après rendu.

4. Connecter les API

Connectez Google Search Console, GA4 et PageSpeed Insights. Clics, impressions et Core Web Vitals s'affichent alors à côté de chaque URL, et les URL présentes dans ces sources mais absentes du crawl révèlent les pages orphelines.

5. Configurer l'extraction personnalisée

Avec XPath, des sélecteurs CSS ou des expressions régulières, extrayez n'importe quel élément : date de publication, auteur, prix, disponibilité, type de schema. Pratique pour auditer des gabarits à grande échelle.

6. Ménager le serveur

Baissez la vitesse (threads ou URL par seconde) sur un hébergement fragile, et ne prenez l'agent utilisateur Googlebot que si le site ne bloque pas les robots inconnus.

Comment mener les audits essentiels pas à pas ?

Google explique comment il traite les codes de statut HTTP et les URL canoniques : lisez les deux avant de décider quoi rediriger ou regrouper.

Comment exporter et partager les résultats ?

Chaque onglet s'exporte en CSV, Excel ou Google Sheets. Utilisez Bulk Export pour les données croisées (tous les liens vers des pages 4xx, toutes les images sans texte alternatif) et le menu Reports pour les chaînes de redirection ou les erreurs de canonique. Pour un client ou un développeur, exportez seulement la liste filtrée des problèmes avec l'URL de la page et l'origine du souci : une liste de 40 liens cassés avec leurs pages sources est corrigée, un fichier de 10'000 lignes ne l'est pas. Avec une licence, planifiez un crawl hebdomadaire et comparez les crawls pour voir ce qui a changé après chaque mise en production.

En quoi un crawl aide-t-il le SEO et la visibilité dans les IA ?

Un crawler voit votre site comme Googlebot, Bingbot et les robots des IA (GPTBot, ClaudeBot, PerplexityBot). Une page qu'ils ne peuvent pas atteindre, qui renvoie une erreur ou qui se trouve à sept clics de profondeur gaspille du budget de crawl et a peu de chances d'être indexée par Google ou récupérée par ChatGPT et Perplexity. Un crawl propre (statuts 200, une seule canonique, faible profondeur, vrais liens internes) est la base de tout audit SEO technique, avant le contenu et les liens.

Pour une seule page, un crawler n'est pas toujours nécessaire : l'audit SEO on-page gratuit et l'extension Chrome gratuite de Sorank affichent en quelques secondes les corrections de la page que vous consultez.

Screaming Frog SEO Spider trouve en quelques minutes les problèmes techniques de tout un site ; le travail qui rapporte du trafic commence quand vous les corrigez par ordre d'impact. Une fois la base saine, Sorank publie en autopilote des articles optimisés et maillés entre eux pour que le site continue de progresser sur Google et dans les IA.