Robots.txt für KI-Crawler: Was erlauben, was sperren?

Ihre robots.txt für KI-Crawler ist heute eine geschäftliche Entscheidung, nicht nur eine technische Datei. Dieselbe Datei, die früher nur mit Googlebot sprach, entscheidet jetzt, ob ChatGPT, Claude, Perplexity und Gemini Ihre Seiten lesen, zitieren und verlinken können. Das Format ist gleich geblieben: das Robots Exclusion Protocol, standardisiert als RFC 9309, mit User-agent-, Allow- und Disallow-Zeilen. Neu sind die Zahl der Agents und die Tatsache, dass ein Anbieter mehrere Bots mit unterschiedlichen Zwecken betreibt.

Welche KI-Crawler gibt es und was tun sie?

Die meisten KI-Anbieter trennen inzwischen Training, Suchindexierung und nutzerausgelöste Abrufe in verschiedene User Agents. Die Tabelle fasst die wichtigsten zusammen, wie die Anbieter sie dokumentieren.

Quellen: Crawler-Dokumentation von OpenAI und Googles Liste gängiger Crawler. Namen ändern sich gelegentlich, prüfen Sie die Seite jedes Anbieters vor Änderungen. Unsere Glossareinträge zu KI-Crawlern und OpenAI-Crawlern liefern die Kurzdefinitionen.

Sollten Sie KI-Crawler sperren?

Für die meisten Unternehmen, die Kunden gewinnen wollen, nein: Sperren Sie bei Bedarf das Training, lassen Sie Such-Crawler offen. Die Abwägung hängt davon ab, was Sie verkaufen:

• Marken, SaaS, E-Commerce, lokale Unternehmen: KI-Antworten sind ein Akquisekanal. Wer Such-Crawler sperrt, verlässt ihn. Trainings-Crawler zuzulassen hilft künftigen Modellen, Ihre Marke zu kennen.
• Verlage, die von Seitenaufrufen oder Abos leben: Das Sperren des Trainings schützt den Wert der Inhalte; offene Such-Crawler bringen weiter Zitate und Links.
• Websites mit privaten oder lizenzierten Inhalten: breit sperren und serverseitig durchsetzen, denn robots.txt ist eine Bitte, keine Zugriffskontrolle.

Wie sieht eine empfohlene robots.txt aus?

Explizite Gruppen pro User Agent, Such-Bots erlaubt und eine klare Wahl für Trainings-Bots. Beispiel für ein Unternehmen, das in KI sichtbar sein, aber kein Training speisen möchte:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Entfernen Sie die zweite Gruppe, wenn die Nutzung Ihrer Inhalte fürs Training für Sie in Ordnung ist. Unser kostenloser robots.txt-Generator erstellt die Datei, der robots.txt-Checker zeigt, welche Agents eine Live-Datei tatsächlich erlaubt.

Welche Fehler blockieren KI-Sichtbarkeit unbeabsichtigt?

Am häufigsten eine pauschale Regel aus einem Forum. Typische Fehler:

• „User-agent: * / Disallow: /" aus der Staging-Umgebung übrig, das alle Bots inklusive Googlebot aussperrt.
• OAI-SearchBot statt GPTBot gesperrt, wodurch Sie aus ChatGPT Search verschwinden statt nur aus dem Training.
• Eine Bot-Schutzregel im CDN oder in der Firewall, die KI-User-Agents unabhängig von robots.txt mit 403 abweist. Prüfen Sie Ihre Server-Logs.
• Gesperrtes CSS und JavaScript, das zum Rendern nötig ist, sodass Crawler eine leere Hülle sehen.
• Wichtige Inhalte nur clientseitig geladen; viele KI-Crawler führen kein JavaScript aus, liefern Sie den Haupttext im HTML.

Reicht robots.txt, um zitiert zu werden?

Nein, sie öffnet nur die Tür. Sobald Crawler Ihre Seiten lesen können, hängt das Zitieren davon ab, ob die Seiten Fragen klar beantworten, gut extrahierbar strukturiert sind und von anderen Quellen bestätigt werden. Saubere strukturierte Daten für die KI-Suche, Abschnitte mit direkter Antwort und eine optionale llms.txt helfen beim nächsten Schritt.

Fazit

Behandeln Sie KI-Crawler als getrennte Entscheidungen: Such- und Nutzerabruf-Bots öffnen, beim Training bewusst wählen und prüfen, dass Ihr Server dieselbe Regel anwendet. Messen Sie dann, ob die offene Tür zu Zitaten führt. Sorank verfolgt Ihre Marke wöchentlich in ChatGPT, Claude und Gemini und veröffentlicht zitierfähig strukturierte Inhalte: 3 Tage kostenlos testen.