Kostenlose Tools

Prüfen, ob die robots.txt KI-Crawler blockiert

Crawler sind Programme, die Websites automatisch lesen. Geben Sie eine URL ein und sehen Sie, ob Ihre robots.txt KI-Crawler blockiert, getrennt nach Such-Crawlern und Trainings-Crawlern. Kostenlos, ohne Anmeldung und ohne KI.

Wann es hilft

  • Ihre Website taucht in Antworten von KI-Suchen nicht auf
  • Eine Agentur, Ihr Hoster oder ein Plugin hat die robots.txt geändert
  • Sie wollten nur Trainings-Crawler blockieren und möchten das überprüfen

Was es zeigt

  • Ob die robots.txt jeden KI-Crawler vollständig blockiert, teilweise blockiert oder zulässt
  • Welche Regel greift
  • Was das jeweilige Unternehmen offiziell über die Folgen einer Blockierung sagt

Was es nicht sagen kann

  • Sperren in den Einstellungen Ihres CDN oder Servers
  • Ob KI-Antworten Ihre Website tatsächlich zitieren oder ob Crawler wirklich vorbeikommen
  • Wie von Nutzern ausgelöste Abrufe wie ChatGPT-User behandelt werden

Wir lesen nur die öffentliche robots.txt. URL und Ergebnisse speichern wir nicht. Verbindungsdaten nutzen wir nur kurzzeitig, um die Anzahl der Anfragen zu begrenzen.

Die geprüften Crawler und was ihre Betreiber dazu sagen

Die Rollen stammen aus der offiziellen Dokumentation der jeweiligen Unternehmen, Stand 7. November 2026. Die Dokumentation ändert sich; lesen Sie vor einer Entscheidung die offiziellen Seiten.

Such-Crawler

OAI-SearchBotOpenAI
Liest Websites, damit sie in der ChatGPT-Suche erscheinen können. Wird er blockiert, erscheint die Website nicht in Antworten der ChatGPT-Suche, kann aber weiterhin als Navigationslink angezeigt werden (laut OpenAI).
Claude-SearchBotAnthropic
Liest Websites, um die Qualität der Suchergebnisse von Claude zu verbessern. Wird er blockiert, wird die Website nicht für die Suche gelesen, was ihre Sichtbarkeit und Genauigkeit in den Suchergebnissen verringern kann (laut Anthropic).
PerplexityBotPerplexity
Liest Websites, damit Perplexity sie in Suchergebnissen anzeigen und verlinken kann. Laut Perplexity wird er nicht zum Training von Foundation-Modellen verwendet. Wird er blockiert, lehnen Sie das Lesen ab, mit dem Perplexity Ihre Website in seinen Suchergebnissen anzeigt (nach der Beschreibung von Perplexity).

Trainings- und sonstige Crawler

GPTBotOpenAI
Liest Inhalte, die zum Training der generativen KI-Foundation-Modelle von OpenAI verwendet werden können. Eine Blockierung signalisiert, dass Ihre Inhalte nicht für das Training verwendet werden sollen. Die ChatGPT-Suche wird separat über OAI-SearchBot gesteuert (laut OpenAI).
ClaudeBotAnthropic
Liest Inhalte, die zum Training der generativen KI-Modelle von Anthropic verwendet werden können. Mit einer Blockierung bitten Sie Anthropic, Ihre künftigen Inhalte aus den Trainingsdaten auszuschließen (laut Anthropic).
Google-ExtendedGoogle
Ein Steuerungs-Token dafür, ob Inhalte zum Training künftiger Gemini-Modelle und zur Fundierung (Grounding) von Antworten verwendet werden. Es crawlt nicht selbst. Laut Google hat es keinen Einfluss auf die Aufnahme oder das Ranking in der Google Suche.
Applebot-ExtendedApple
Ein Steuerungs-Token dafür, ob Apple Inhalte für seine generative KI verwenden darf. Es crawlt nicht selbst. Laut Apple können blockierte Seiten weiterhin in den Suchergebnissen von Apple erscheinen, und es wird nicht für das Ranking verwendet.
CCBotCommon Crawl
Sammelt Daten für Common Crawl, eine gemeinnützige Organisation, die ihren Datensatz Forschenden und Unternehmen frei zur Verfügung stellt. Die offizielle Seite erwähnt kein KI-Training; da die Daten aber öffentlich sind, gehen wir davon aus, dass sie auch für Training genutzt werden können (unsere Annahme). Wird er blockiert, liest Common Crawl Ihre Website nicht mehr. Wie mit bereits veröffentlichten Daten umgegangen wird, können wir nicht beurteilen.

So blockieren Sie einen Crawler

Mit diesen Zeilen in der robots.txt bitten Sie den genannten Crawler, keinen Teil Ihrer Website zu lesen. Ändern Sie den Namen, um einen anderen Crawler anzusprechen. Die robots.txt ist eine Bitte, keine Garantie, dass eine Seite nicht gelesen wird.

User-agent: GPTBot
Disallow: /

Offizielle Dokumentation

Title, Description und noindex einer Seite prüfen Sie mit dem Title- und Meta-Description-Check.

Weitere kostenlose Tools