Kostenlose Tools
Prüfen, ob die robots.txt KI-Crawler blockiert
Crawler sind Programme, die Websites automatisch lesen. Geben Sie eine URL ein und sehen Sie, ob Ihre robots.txt KI-Crawler blockiert, getrennt nach Such-Crawlern und Trainings-Crawlern. Kostenlos, ohne Anmeldung und ohne KI.
Wann es hilft
- Ihre Website taucht in Antworten von KI-Suchen nicht auf
- Eine Agentur, Ihr Hoster oder ein Plugin hat die robots.txt geändert
- Sie wollten nur Trainings-Crawler blockieren und möchten das überprüfen
Was es zeigt
- Ob die robots.txt jeden KI-Crawler vollständig blockiert, teilweise blockiert oder zulässt
- Welche Regel greift
- Was das jeweilige Unternehmen offiziell über die Folgen einer Blockierung sagt
Was es nicht sagen kann
- Sperren in den Einstellungen Ihres CDN oder Servers
- Ob KI-Antworten Ihre Website tatsächlich zitieren oder ob Crawler wirklich vorbeikommen
- Wie von Nutzern ausgelöste Abrufe wie ChatGPT-User behandelt werden
Die geprüften Crawler und was ihre Betreiber dazu sagen
Die Rollen stammen aus der offiziellen Dokumentation der jeweiligen Unternehmen, Stand 7. November 2026. Die Dokumentation ändert sich; lesen Sie vor einer Entscheidung die offiziellen Seiten.
Such-Crawler
- OAI-SearchBotOpenAI
- Liest Websites, damit sie in der ChatGPT-Suche erscheinen können. Wird er blockiert, erscheint die Website nicht in Antworten der ChatGPT-Suche, kann aber weiterhin als Navigationslink angezeigt werden (laut OpenAI).
- Claude-SearchBotAnthropic
- Liest Websites, um die Qualität der Suchergebnisse von Claude zu verbessern. Wird er blockiert, wird die Website nicht für die Suche gelesen, was ihre Sichtbarkeit und Genauigkeit in den Suchergebnissen verringern kann (laut Anthropic).
- PerplexityBotPerplexity
- Liest Websites, damit Perplexity sie in Suchergebnissen anzeigen und verlinken kann. Laut Perplexity wird er nicht zum Training von Foundation-Modellen verwendet. Wird er blockiert, lehnen Sie das Lesen ab, mit dem Perplexity Ihre Website in seinen Suchergebnissen anzeigt (nach der Beschreibung von Perplexity).
Trainings- und sonstige Crawler
- GPTBotOpenAI
- Liest Inhalte, die zum Training der generativen KI-Foundation-Modelle von OpenAI verwendet werden können. Eine Blockierung signalisiert, dass Ihre Inhalte nicht für das Training verwendet werden sollen. Die ChatGPT-Suche wird separat über OAI-SearchBot gesteuert (laut OpenAI).
- ClaudeBotAnthropic
- Liest Inhalte, die zum Training der generativen KI-Modelle von Anthropic verwendet werden können. Mit einer Blockierung bitten Sie Anthropic, Ihre künftigen Inhalte aus den Trainingsdaten auszuschließen (laut Anthropic).
- Google-ExtendedGoogle
- Ein Steuerungs-Token dafür, ob Inhalte zum Training künftiger Gemini-Modelle und zur Fundierung (Grounding) von Antworten verwendet werden. Es crawlt nicht selbst. Laut Google hat es keinen Einfluss auf die Aufnahme oder das Ranking in der Google Suche.
- Applebot-ExtendedApple
- Ein Steuerungs-Token dafür, ob Apple Inhalte für seine generative KI verwenden darf. Es crawlt nicht selbst. Laut Apple können blockierte Seiten weiterhin in den Suchergebnissen von Apple erscheinen, und es wird nicht für das Ranking verwendet.
- CCBotCommon Crawl
- Sammelt Daten für Common Crawl, eine gemeinnützige Organisation, die ihren Datensatz Forschenden und Unternehmen frei zur Verfügung stellt. Die offizielle Seite erwähnt kein KI-Training; da die Daten aber öffentlich sind, gehen wir davon aus, dass sie auch für Training genutzt werden können (unsere Annahme). Wird er blockiert, liest Common Crawl Ihre Website nicht mehr. Wie mit bereits veröffentlichten Daten umgegangen wird, können wir nicht beurteilen.
So blockieren Sie einen Crawler
Mit diesen Zeilen in der robots.txt bitten Sie den genannten Crawler, keinen Teil Ihrer Website zu lesen. Ändern Sie den Namen, um einen anderen Crawler anzusprechen. Die robots.txt ist eine Bitte, keine Garantie, dass eine Seite nicht gelesen wird.
User-agent: GPTBot Disallow: /
Offizielle Dokumentation
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Google: Google’s common crawlers (Google-Extended)
- Apple: About Applebot
- Common Crawl: CCBot
Title, Description und noindex einer Seite prüfen Sie mit dem Title- und Meta-Description-Check.