Screaming Frog SEO Spider: zo stel je het in en voer je een volledige audit uit

Kort samengevat: Screaming Frog SEO Spider is een desktopcrawler die elke URL van een site bezoekt zoals een bot van een zoekmachine dat doet en vervolgens statuscodes, titels, metabeschrijvingen, koppen, canonicals, directives, redirects en links in sorteerbare tabellen weergeeft. De gratis versie crawlt tot 500 URL's; een jaarlicentie (245€ of £199 per gebruiker, gecontroleerd in oktober 2026) heft de limiet op en ontgrendelt geavanceerde functies. Het is de referentietool voor technische SEO-audits: hij vindt de problemen en jij lost ze op in je CMS.

De Screaming Frog SEO Spider draait op Windows, macOS en Linux en werkt vanaf je computer, dus de snelheid hangt af van het geheugen van je machine. De gebruikershandleiding van de leverancier documenteert elke instelling. Deze gids behandelt wat telt voor een eerste bruikbare audit.

Wat doet Screaming Frog SEO Spider?

Het begint bij een URL, volgt elke link die het vindt en registreert wat een bot op elke pagina ziet. Dit proces heet crawlen. Voor elke URL krijg je:

• de HTTP-statuscode (200, 301, 404, 500...) en de responstijd;
• de titeltag, metabeschrijving, H1 en H2, met hun lengte;
• canonical-tags, meta robots en X-Robots-Tag-directives, hreflang;
• interne en externe links, ankerteksten, crawldiepte;
• afbeeldingen, hun grootte en alt-tekst;
• gestructureerde data, aantal woorden en paginagrootte.

De waarde zit in het overzicht op schaal: 10'000 pagina's gesorteerd op probleem in een paar minuten, waar een handmatige controle weken zou kosten.

Gratis versie of betaalde licentie: welke heb je nodig?

De gratis versie is genoeg voor een kleine site of een snelle controle van één sectie. Zodra een site meer dan 500 URL's heeft, of je JavaScript moet renderen of de site in de loop van de tijd wilt monitoren, verdient de licentie zichzelf terug.

Welke instellingen moet je wijzigen voor de eerste crawl?

1. Kies de crawlmodus

De Spider-modus crawlt vanaf een start-URL. De lijstmodus crawlt alleen de URL's die je plakt of uploadt, handig om een sitemap te controleren, een lijst met oude URL's vóór een migratie of een reeks backlinkdoelen.

2. Gebruik databaseopslag

Schakel in de instellingen van geheugen naar databaseopslag op een SSD. Grote crawls worden dan mogelijk en worden automatisch opgeslagen.

3. Zet JavaScript-rendering aan als de site dat nodig heeft

Als content of links door JavaScript worden toegevoegd (React, Vue, sommige thema's van Shopify of Webflow), zet je het renderen op JavaScript. De tool gebruikt dan een headless Chromium-browser, net als de renderer van Google. Vergelijk de ruwe HTML en de gerenderde HTML om content te ontdekken die pas na het renderen bestaat.

4. Koppel de API's

Koppel Google Search Console, GA4 en PageSpeed Insights. Klikken, vertoningen en Core Web Vitals verschijnen dan naast elke URL, en URL's die in die bronnen staan maar niet in de crawl, onthullen weespagina's.

5. Stel aangepaste extractie in

Met XPath, CSS-selectors of regex haal je elk element eruit: publicatiedatum, auteur, prijs, voorraadstatus, een schematype. Handig om sjablonen op schaal te controleren.

6. Respecteer de server

Verlaag de snelheid (threads of URL's per seconde) bij kwetsbare hosting en stel de user agent alleen in op Googlebot als de site onbekende bots niet blokkeert.

Hoe voer je de essentiële audits stap voor stap uit?

Google legt uit hoe het omgaat met HTTP-statuscodes en canonical-URL's: lees beide voordat je beslist wat je redirect of samenvoegt.

Hoe exporteer en deel je de resultaten?

Elk tabblad exporteert naar CSV, Excel of Google Sheets. Gebruik Bulk Export voor gecombineerde data (alle inlinks naar 4xx-pagina's, alle afbeeldingen zonder alt-tekst) en het menu Reports voor redirectketens of canonicalfouten. Exporteer voor een klant of ontwikkelaar alleen de gefilterde lijst met problemen, met de URL van de pagina en de bron van het probleem: een lijst met 40 kapotte links met hun bronpagina's wordt opgelost, een bestand met 10'000 rijen niet. Plan met een licentie een wekelijkse crawl en gebruik crawlvergelijking om te zien wat er na elke release is veranderd.

Hoe helpt een crawl bij SEO en zichtbaarheid in de AI?

Een crawler ziet je site zoals Googlebot, Bingbot en de AI-crawlers (GPTBot, ClaudeBot, PerplexityBot) dat doen. Een pagina die zij niet kunnen bereiken, die een fout teruggeeft of die zeven klikken diep zit, verspilt crawlbudget en heeft weinig kans om door Google te worden geïndexeerd of door ChatGPT en Perplexity te worden opgehaald. Een schone crawl (statuscode 200, één canonical, geringe diepte, echte interne links) is de basis van elke technische SEO-audit, vóór content en links.

Voor één pagina tegelijk heb je niet altijd een crawler nodig: de gratis on-page SEO-audit en de gratis Chrome-extensie van Sorank tonen binnen enkele seconden de verbeterpunten van de pagina die je bekijkt.

Screaming Frog SEO Spider vindt de technische problemen van een hele site in enkele minuten; het werk dat verkeer oplevert begint wanneer je ze oplost in volgorde van impact. Zodra de basis schoon is, publiceert Sorank op autopilot geoptimaliseerde artikelen met interne links, zodat de site blijft groeien op Google en in de AI.