robots.txt und KI-Crawler: Ihre Datei selbst prüfen, mit Beispielen

Die Datei öffnen

Die robots.txt liegt auf der obersten Ebene der Website, zum Beispiel unter https://www.beispiel-tischlerei.de/robots.txt. Laut Google gelten die Regeln nur für den Host, das Protokoll und den Port, unter dem die Datei liegt. Läuft Ihr Onlineshop oder Ihre Terminbuchung auf einer Subdomain wie shop.beispiel-tischlerei.de, hat diese eine eigene Datei. Öffnen Sie dann auch diese.

Erscheint „nicht gefunden“ (404), behandelt Google das so, als gäbe es keine robots.txt, und geht von keinen Einschränkungen aus.

Fünf Muster, die Sie häufig sehen

„User-agent“ nennt den Crawler, für den eine Gruppe von Regeln gilt. „Disallow“ nennt, wohin er nicht soll. Die Lesart unten folgt der Spezifikation von Google und den Dokumentationen der Anbieter. Andere Crawler können die Datei anders auslegen.

• „User-agent: *“ und darunter „Disallow: /“: bittet alle Crawler, die ganze Website auszulassen. Ohne eigene Gruppe für Googlebot gilt das auch für die Google Suche. Steht das auf einer Live-Website, klären Sie den Grund
• „User-agent: GPTBot“ und darunter „Disallow: /“: sperrt nur diesen Crawler. Laut OpenAI ist das das Signal, die Inhalte nicht für das Training seiner Modelle zu verwenden
• „User-agent: *“ und darunter „Disallow: /wp-admin/“: sperrt nur den Verwaltungsbereich von WordPress. Ihre öffentlichen Seiten sind nicht betroffen
• „Disallow:“ ohne Pfad dahinter: Google ignoriert eine Regel ohne Pfad. Gesperrt wird also nichts
• Eine Gruppe für „*“ und zusätzlich eine Gruppe mit einem Crawler-Namen: Ein Google-Crawler befolgt nur die spezifischste passende Gruppe und ignoriert die anderen

Suchcrawler und Trainings-Crawler auseinanderhalten

Ob Ihre Seiten in KI-Suchantworten vorkommen können, hängt an den Suchcrawlern. Ob Ihre Texte für das Training verwendet werden dürfen, steuern Sie über andere Namen. Die Angaben stammen aus den Dokumentationen der jeweiligen Anbieter.

• Googlebot: die Google Suche
• Google-Extended: kein eigener Crawler, sondern ein Token in der robots.txt für das Training künftiger Gemini-Modelle und das Grounding. Google sagt, dass es weder die Aufnahme in die Google Suche beeinflusst noch ein Ranking-Signal ist
• OAI-SearchBot: die Suche in ChatGPT. Ist er gesperrt, erscheint die Website laut OpenAI nicht in den Suchantworten, kann aber noch als Navigationslink auftauchen
• GPTBot: Inhalte, die für das Training von OpenAI-Modellen verwendet werden können
• Claude-SearchBot: Suchergebnisse bei Claude. ClaudeBot: Inhalte, die für das Training verwendet werden können
• PerplexityBot: die Suchergebnisse von Perplexity. Laut Perplexity nicht für das Training von Basismodellen

ChatGPT-User und Perplexity-User rufen Seiten auf, wenn eine Person in der Unterhaltung danach fragt. OpenAI und Perplexity schreiben, dass die robots.txt für diese Abrufe möglicherweise nicht oder in der Regel nicht gilt.

Für die KI-Funktionen der Google Suche gibt es zusätzlich eine eigene Einstellung in der Search Console: unter „Einstellungen“ der Punkt „Generative KI-Funktionen der Google Suche“.

Ein Beispiel: Suche erlauben, Training sperren

Die (erfundene) Tischlerei Brandt in Freiburg möchte, dass ihre Seiten weiter von Suchcrawlern gelesen werden, ihre Texte aber nicht für das Training freigeben. Sie lässt die Gruppe für alle Crawler offen und ergänzt zwei Gruppen:

• User-agent: GPTBot
• Disallow: /
• User-agent: ClaudeBot
• Disallow: /

OAI-SearchBot, Claude-SearchBot, PerplexityBot und Googlebot bleiben damit unberührt. Ob Sie das Training erlauben, ist Ihre Entscheidung. Das Beispiel zeigt nur, dass beides getrennt geht, und ist keine Empfehlung von uns.

In der Search Console nachsehen

Wenn Sie die Search Console nutzen, zeigt der robots.txt-Bericht, welche robots.txt-Dateien Google für bis zu 20 Hosts gefunden hat, wann sie zuletzt abgerufen wurden und ob es Probleme gab. Nach einer Korrektur können Sie über das Symbol „Weitere Einstellungen“ neben der Datei „Erneutes Crawlen beantragen“. Der Bericht steht für Domain-Properties und für URL-Präfix-Properties ohne Pfad zur Verfügung.

Was die robots.txt nicht leistet

Auch wenn Sie keinen Crawler sperren, bleiben diese Punkte offen.

• Sie ist keine Pflicht für Crawler. Google schreibt, dass seriöse Crawler sich daran halten, andere womöglich nicht
• Eine Firewall, ein CDN oder eine Servereinstellung kann Crawler blockieren, ohne dass in der robots.txt etwas steht. Perplexity weist darauf hin, dass man seine Crawler in einer Firewall eventuell ausdrücklich zulassen muss
• Um eine Seite aus der Google Suche herauszuhalten, nennt Google noindex oder einen Passwortschutz, nicht die robots.txt
• Dass Sie einen Crawler nicht sperren, heißt nicht, dass Ihre Seiten in KI-Antworten erscheinen

Änderungen brauchen Zeit. Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen. OpenAI nennt für seine Suche etwa 24 Stunden nach einer Änderung.

Wenn Sie eine Sperre finden

Löschen Sie sie nicht sofort. Fragen Sie die Person oder Agentur, die Ihre Website betreut, warum sie dort steht. Sie kann aus der Entwicklungsphase übrig sein oder eine bewusste Entscheidung. Ein „Disallow: /“ unter „User-agent: *“ kann auch die Google Suche stoppen; nach diesem fragen Sie am besten noch heute. Das ist unser Rat.

Was wir vorbereiten

Wir bereiten einen Dienst vor, der solche Prüfungen übernimmt und Ihnen jeden Morgen ein bis drei konkrete Verbesserungen schickt, oder keine, wenn es an dem Tag nichts Sinnvolles gibt. Sie entscheiden, ob Sie sie umsetzen. Firewall- und Servereinstellungen sieht er nicht, und einen Platz in KI-Antworten kann er nicht versprechen. Für Ihr Land ist er noch nicht geöffnet. Hinterlassen Sie unten Ihre E-Mail-Adresse, dann sagen wir Ihnen Bescheid.