Screaming Frog SEO Spider: Einrichtung und vollständiges Audit Schritt für Schritt

Screaming Frog SEO Spider läuft unter Windows, macOS und Linux direkt auf Ihrem Rechner, die Geschwindigkeit hängt also vom Arbeitsspeicher ab. Das Benutzerhandbuch des Herstellers dokumentiert jede Einstellung. Dieser Leitfaden behandelt, was für ein erstes nützliches Audit zählt.

Was macht Screaming Frog SEO Spider?

Er startet bei einer URL, folgt jedem gefundenen Link und erfasst, was ein Bot auf jeder Seite sieht. Diesen Vorgang nennt man Crawling. Für jede URL erhalten Sie:

• den HTTP-Statuscode (200, 301, 404, 500...) und die Antwortzeit;
• Title-Tag, Meta-Beschreibung, H1 und H2 mit ihrer Länge;
• Canonical-Tags, Meta-Robots- und X-Robots-Tag-Direktiven, hreflang;
• interne und externe Links, Ankertexte, Crawltiefe;
• Bilder, ihre Größe und ihren Alt-Text;
• strukturierte Daten, Wortzahl und Seitengröße.

Der Nutzen liegt in der Gesamtsicht: 10.000 Seiten nach Problem sortiert in wenigen Minuten, wo eine manuelle Prüfung Wochen dauern würde.

Gratisversion oder Lizenz: Was brauchen Sie?

Die Gratisversion reicht für eine kleine Website oder die schnelle Prüfung eines Bereichs. Sobald eine Website 500 URLs überschreitet oder Sie JavaScript rendern oder Entwicklungen verfolgen müssen, rechnet sich die Lizenz schnell.

Welche Einstellungen sollten Sie vor dem ersten Crawl ändern?

1. Den Crawl-Modus wählen

Der Spider-Modus crawlt ab einer Start-URL. Der List-Modus crawlt nur die URLs, die Sie einfügen oder hochladen: nützlich, um eine Sitemap, eine Liste alter URLs vor einer Migration oder Backlink-Zielseiten zu prüfen.

2. Datenbankspeicher nutzen

Stellen Sie in den Einstellungen vom Arbeitsspeicher auf Datenbankspeicher auf einer SSD um. Große Crawls werden möglich und automatisch gespeichert.

3. JavaScript-Rendering aktivieren, wenn nötig

Werden Inhalte oder Links per JavaScript eingefügt (React, Vue, manche Shopify- oder Webflow-Themes), stellen Sie das Rendering auf JavaScript. Das Tool nutzt dann einen Headless-Chromium-Browser, ähnlich dem Renderer von Google. Vergleichen Sie Roh-HTML und gerendertes HTML, um Inhalte zu finden, die erst nach dem Rendern existieren.

4. Die APIs verbinden

Verbinden Sie Google Search Console, GA4 und PageSpeed Insights. Klicks, Impressionen und Core Web Vitals erscheinen dann neben jeder URL, und URLs, die in diesen Quellen, aber nicht im Crawl auftauchen, zeigen Waisenseiten.

5. Custom Extraction einrichten

Mit XPath, CSS-Selektoren oder Regex extrahieren Sie jedes Element: Veröffentlichungsdatum, Autor, Preis, Verfügbarkeit, Schema-Typ. Praktisch, um Templates in großem Umfang zu prüfen.

6. Den Server schonen

Senken Sie die Geschwindigkeit (Threads oder URLs pro Sekunde) bei schwachem Hosting, und wählen Sie den User-Agent Googlebot nur, wenn die Website unbekannte Bots nicht blockiert.

Wie führen Sie die wichtigsten Audits Schritt für Schritt durch?

Google erklärt, wie es HTTP-Statuscodes und kanonische URLs behandelt: Lesen Sie beides, bevor Sie entscheiden, was weitergeleitet oder zusammengeführt wird.

Wie exportieren und teilen Sie die Ergebnisse?

Jeder Tab lässt sich als CSV, Excel oder Google Sheets exportieren. Nutzen Sie Bulk Export für kombinierte Daten (alle Links auf 4xx-Seiten, alle Bilder ohne Alt-Text) und das Menü Reports für Weiterleitungsketten oder Canonical-Fehler. Für Kunden oder Entwickler exportieren Sie nur die gefilterte Problemliste mit Seiten-URL und Ursache: Eine Liste mit 40 defekten Links samt Quellseiten wird abgearbeitet, eine Datei mit 10.000 Zeilen nicht. Mit Lizenz planen Sie einen wöchentlichen Crawl und vergleichen Crawls, um Änderungen nach jedem Release zu sehen.

Wie hilft ein Crawl bei SEO und KI-Sichtbarkeit?

Ein Crawler sieht Ihre Website so wie Googlebot, Bingbot und die KI-Crawler (GPTBot, ClaudeBot, PerplexityBot). Eine Seite, die sie nicht erreichen, die einen Fehler liefert oder sieben Klicks tief liegt, verschwendet Crawl-Budget und hat kaum Chancen, von Google indexiert oder von ChatGPT und Perplexity abgerufen zu werden. Ein sauberer Crawl (Status 200, ein Canonical, geringe Tiefe, echte interne Links) ist die Basis jedes technischen SEO-Audits, noch vor Inhalten und Links.

Für eine einzelne Seite brauchen Sie nicht immer einen Crawler: Das kostenlose On-Page-SEO-Audit und die kostenlose Chrome-Erweiterung von Sorank zeigen die Korrekturen der aktuell geöffneten Seite in wenigen Sekunden.

Screaming Frog SEO Spider findet die technischen Probleme einer ganzen Website in Minuten; die Arbeit, die Traffic bringt, beginnt, wenn Sie sie nach Wirkung geordnet beheben. Ist die Basis sauber, veröffentlicht Sorank im Autopilot optimierte, intern verlinkte Artikel, damit die Website bei Google und in der KI weiter wächst.