KI-Antworten
GPTBot blockieren? Trainings-Crawler und KI-Such-Crawler unterscheiden
Kurz gesagt
Ob Sie GPTBot blockieren, ist eine Grundsatzentscheidung Ihres Unternehmens. GPTBot sammelt Inhalte, die für das Training von OpenAI-Modellen verwendet werden können. OAI-SearchBot bestimmt, ob Ihre Website in der ChatGPT-Suche erscheint, und laut OpenAI sind beide Einstellungen unabhängig voneinander. Der häufigste Fehler: alles zu sperren, obwohl man nur das Training ausschließen wollte.
Jedes Unternehmen benennt seine Crawler nach Zweck
Das sind die Zwecke, die in der Dokumentation der jeweiligen Anbieter stehen, geprüft am 17. November 2026.
- OpenAI: GPTBot für das Training, OAI-SearchBot für die ChatGPT-Suche, ChatGPT-User für Aktionen, um die eine Person bittet
- Anthropic: ClaudeBot für das Training, Claude-SearchBot für die Suchqualität, Claude-User, wenn jemand Claude eine Frage stellt
- Perplexity: PerplexityBot für Suchergebnisse, laut Perplexity nicht für das Training von Basismodellen; Perplexity-User für Anfragen von Nutzern
- Google: Googlebot für die Suche. Google-Extended steuert, ob Inhalte für das Training künftiger Gemini-Modelle und für das Grounding verwendet werden. Laut Google beeinflusst das weder die Aufnahme in die Google Suche noch das Ranking
robots.txt für jedes Ziel
Die robots.txt ist die Datei im Stammverzeichnis Ihrer Website, die Crawlern Anweisungen gibt.
- Beides erlauben: nichts ergänzen. Sind beide erlaubt, kann OpenAI einen einzigen Crawl für beide Zwecke nutzen.
- Training ausschließen, aber in der ChatGPT-Suche bleiben: unter „User-agent: GPTBot“ die Zeile „Disallow: /“ ergänzen und OAI-SearchBot unverändert lassen.
- Beides ausschließen: GPTBot und OAI-SearchBot sperren. Ihre Seiten werden dann nicht mehr für Antworten der ChatGPT-Suche verwendet.
OpenAI empfiehlt, OAI-SearchBot zu erlauben, wenn Sie in der ChatGPT-Suche erscheinen möchten. Eine Erlaubnis bedeutet nicht, dass Sie dort erscheinen.
Drei Fragen für die Entscheidung
Dieser Teil ist unsere Einschätzung; die richtige Antwort ist je nach Unternehmen verschieden.
- Enthalten öffentliche Seiten eigenes Material, etwa Fotos oder Anleitungen, das nicht für das Training verwendet werden soll?
- Regeln Kundenverträge oder interne Richtlinien bereits, wie diese Inhalte verwendet werden dürfen?
- Möchten Sie von Menschen gefunden werden, die in KI-Assistenten nach Anbietern suchen?
Ein Ja bei einer der ersten beiden Fragen spricht dafür, GPTBot zu blockieren. Ein Ja bei der dritten spricht dafür, OAI-SearchBot offen zu lassen. Beides kann gleichzeitig zutreffen. Trifft nichts davon zu, ist es vertretbar, die Standardeinstellungen zu lassen.
Den häufigsten Fehler beheben
Aus „KI stoppen“ wird oft eine Regel, die alles stoppt. Der Beispielauftrag unten ist erfunden.
- Vorher: „User-agent: *“, darunter „Disallow: /“. Das gilt für jeden Crawler, auch für Googlebot und Bingbot.
- Nachher: „User-agent: GPTBot“, darunter „Disallow: /“. Betroffen ist nur der genannte Crawler.
- Vorher: „Bitte KI blockieren.“
- Nachher: „Bitte GPTBot, ClaudeBot und Google-Extended per Disallow sperren. OAI-SearchBot, Claude-SearchBot und PerplexityBot bitte nicht blockieren. Schicken Sie mir die robots.txt nach der Änderung.“
Was die robots.txt nicht kann
Google weist darauf hin, dass es Sache des Crawlers ist, ob er die robots.txt befolgt. Anthropic beschreibt das Blockieren von ClaudeBot als Signal, künftige Inhalte der Website vom Training auszuschließen; zu bereits gesammelten Inhalten haben wir keine Aussage gefunden. OpenAI schreibt, dass robots.txt-Regeln für Besuche von ChatGPT-User, die eine Person auslöst, möglicherweise nicht gelten, und Perplexity schreibt, dass Perplexity-User die robots.txt in der Regel ignoriert. Laut OpenAI kann es etwa 24 Stunden dauern, bis Änderungen in der Suche wirken. Wenn Inhalte privat bleiben sollen, legen Sie sie hinter einen Login.
Heute Ihre Datei prüfen
Öffnen Sie Ihre Domain mit /robots.txt dahinter. Suchen Sie Gruppen für GPTBot und OAI-SearchBot, lesen Sie deren Disallow-Zeilen und prüfen Sie, dass unter „User-agent: *“ kein „Disallow: /“ steht. Unser kostenloser KI-Crawler-Check unter https://get1pct.com/de/tools/ai-crawler-check liest die Datei für Sie und zeigt, welche KI-Such- und Trainings-Crawler gesperrt sind. Halten Sie in einer Zeile fest, was Sie entschieden haben und warum. Regeln können auch über ein CDN oder eine Firewall durchgesetzt werden, was die robots.txt nicht zeigt. Diese Grundsatzentscheidung können wir Ihnen nicht abnehmen, und eine Sichtbarkeit in KI-Antworten können wir nicht versprechen.