Datenschutz ist uns wichtig. Deshalb können Sie bestimmte Speicherarten deaktivieren, die für die grundlegende Funktion der Website nicht erforderlich sind. Das Blockieren einzelner Kategorien kann Ihr Erlebnis auf der Website beeinträchtigen. Weitere Informationen
Crawlbarkeit beschreibt, wie leicht Bots die Seiten einer Website finden und abrufen. Was Crawler blockiert, wie Sie testen und was Sie für Google und KI verbessern.
Werkzeuge
Zusammenfassung
Crawlbarkeit ist die Fähigkeit von Suchmaschinen- und KI-Bots, die Seiten einer Website zu entdecken und ihren Inhalt ohne Hindernisse abzurufen. Eine Seite, die nicht gecrawlt werden kann, wird weder indexiert noch gerankt oder zitiert.
Möchten Sie mehr erfahren? Fragen Sie
Crawlbarkeit beschreibt, wie leicht ein Crawler wie Googlebot, Bingbot oder ein KI-Bot wie GPTBot die Seiten einer Website über Links und Sitemaps findet und ihren Inhalt herunterlädt. Sie hängt von Struktur, Server, Bot-Regeln und Seitenaufbau ab und ist die erste Voraussetzung organischer Sichtbarkeit.
Crawlbarkeit wird oft mit dem Crawling selbst verwechselt: Crawling ist der Prozess der Suchmaschine, Crawlbarkeit die Eigenschaft Ihrer Website, die ihn erleichtert. Sie unterscheidet sich auch von Indexierbarkeit: Eine crawlbare Seite kann per noindex oder Canonical vom Index ausgeschlossen sein.
Links und Struktur. Crawler bewegen sich von Link zu Link. Verwaiste Seiten ohne interne Links werden kaum gefunden, tief vergrabene Seiten seltener gecrawlt. Grundlage sind eine klare Hierarchie und eine solide interne Verlinkung.
Regeln für Bots. Die Datei robots.txt kann ganze Bereiche sperren, manchmal versehentlich. Login-Hürden, strenge Firewalls oder Bot-Schutz können auch erwünschte Crawler aussperren.
Serverzustand. Langsame Antworten, Timeouts und 5xx-Fehler lassen Google die Crawling-Rate senken. Weiterleitungsketten und defekte Links verschwenden Anfragen.
Rendering. Erscheinen Inhalte und Links erst nach JavaScript-Ausführung, muss der Crawler rendern. Google tut das mit Verzögerung, viele KI-Crawler lesen aber nur das rohe HTML.
Beginnen Sie mit der Google Search Console: Der Bericht zur Seitenindexierung zeigt nicht abrufbare URLs, der Crawling-Statistikbericht Antwortzeiten, Statuscodes und Bot-Typen. Die URL-Prüfung zeigt das gerenderte HTML einer Seite.
Crawlen Sie die Website dann selbst, etwa mit dem kostenlosen KI-Audit zur Crawlbarkeit von Sorank, um verwaiste Seiten, defekte Links, Weiterleitungsketten und gesperrte Seiten zu finden. Vergleichen Sie das Ergebnis mit Ihrer XML-Sitemap: Abweichungen zeigen Strukturprobleme.
Verlinken Sie jede wichtige Seite von mindestens einer passenden Seite und halten Sie Schlüsselseiten höchstens drei Klicks von der Startseite entfernt. Pflegen Sie eine aktuelle XML-Sitemap mit kanonischen, indexierbaren URLs, sperren Sie in der robots.txt nur, was draußen bleiben muss, und ersetzen Sie Weiterleitungsketten durch direkte Links.
Liefern Sie wichtige Inhalte und Links im initialen HTML aus, per Server-Side-Rendering oder statischer Generierung. Überwachen Sie Antwortzeiten und 5xx-Fehler und steuern Sie bei großen Websites das Crawl-Budget, indem Sie wertlose URLs reduzieren.
Klassisch ist eine robots.txt-Regel aus der Entwicklungsumgebung, die die ganze Website oder die für das Rendering nötigen CSS- und JavaScript-Dateien sperrt. Dazu kommen Navigationen nur per JavaScript-Klick statt echter Links mit href, endlose URL-Parameter aus Filtern und Sortierungen sowie Links auf weitergeleitete oder gelöschte Seiten nach einer Migration.
Im SEO ist Crawlbarkeit Voraussetzung: Nicht gecrawlte Seiten werden nicht indexiert und können nicht ranken. Für GEO ist sie ebenso entscheidend: KI-Assistenten nutzen eigene Crawler und Suchindizes. GPTBot, ClaudeBot oder PerplexityBot müssen in der robots.txt erlaubt sein und brauchen Inhalte in einfachem HTML. Unser Eintrag zu KI-Crawlern zeigt, welche Bots Sie zulassen sollten.
Crawlbarkeit ist die Leichtigkeit, mit der Bots Ihre Seiten finden und abrufen. Sie beruht auf klarer interner Verlinkung, einer durchdachten robots.txt, einem gesunden Server und Inhalten ohne schweres JavaScript, und sie geht Indexierung, Ranking und KI-Zitaten voraus.
Weiterführend: Crawling und Crawl-Budget. Quellen: Googles Überblick über seine Crawler und Googles Grundlagen zu JavaScript-SEO.
Quellen
Crawlbarkeit bedeutet, dass Bots eine Seite erreichen und herunterladen können. Indexierbarkeit bedeutet, dass die gecrawlte Seite in den Index aufgenommen werden darf und soll. Eine in der robots.txt gesperrte Seite ist nicht crawlbar, eine crawlbare Seite mit noindex nicht indexierbar.
Die meisten KI-Crawler lesen das rohe HTML und führen JavaScript nicht wie Googles Renderer aus. Inhalte, die erst clientseitig erscheinen, bleiben ihnen oft verborgen. Wichtige Inhalte gehören ins initiale HTML.
Prüfen Sie Crawling-Statistiken und Seitenindexierung in der Search Console. Mehr Serverfehler, lange Antwortzeiten, viele URLs mit „Gefunden, zurzeit nicht indexiert“ oder fehlende wichtige Seiten sind typische Signale.
SIE HABEN SORANK VOR IHNEN AUSPROBIERT
“Ich habe Sorank auf einer echten Kundenwebsite getestet, und es ist der Wahnsinn. Es macht alles, wofür eine Agentur 1.500 € im Monat berechnet. Jetzt geht es bei diesem Kunden in den Produktivbetrieb.”
Guillaume Guersanguersanguillaume.com“Wir sind eine Ads-Agentur und wollten unser SEO endgültig wieder auf Kurs bringen. Sorank hat uns eine klare Übersicht über unsere Website verschafft, uns geholfen, Optimierungen zu priorisieren und unsere Inhalte richtig zu strukturieren. Das Tool ist einfach zu bedienen, gut für ein Team konzipiert und sehr praktisch, um das Tracking zu zentralisieren, ohne zwischen mehreren Plattformen jonglieren zu müssen. Eine sehr solide Grundlage, um mit unserem SEO neu zu starten.”
Gaspard MadouiWerbeagentur
“Ich habe die Sorank-Software einfach machen lassen, und jetzt liegt mein DR bei 25 und meine Seite rankt besser.”
Lucas Flandrefoundertrace.fr“Ich habe mich dank Sorank auf GEO spezialisiert. Das GEO Leaderboard ermöglicht es mir, meinen Kunden ihre Position im Vergleich zu ihren Wettbewerbern auf ChatGPT zu zeigen. Das ist ein echter kommerzieller Differenzierungsfaktor.”
MélanieFreelancer im Bereich SEO“Hervorragender Service, funktioniert gut für unsere Website und hilft uns zu verstehen, wie wir sie verbessern können, um auf Google und anderswo besser zu ranken. Herzlichen Glückwunsch, machen Sie weiter, ich empfehle es.”
Hugo T.E-Commerce-Händler
