KI-Antworten
llms.txt vs. robots.txt: Unterschied und welche Datei Sie brauchen
Kurz gesagt
robots.txt steuert, welche URLs Crawler abrufen dürfen, und Suchmaschinen nutzen sie seit Jahren. llms.txt ist ein neuerer Vorschlag: eine Markdown-Zusammenfassung Ihrer Website für KI-Tools. Laut Google nutzt die Google Suche llms.txt nicht, die Datei hilft Ihrer Sichtbarkeit dort also weder, noch schadet sie ihr. Prüfen Sie zuerst robots.txt. Dass llms.txt optional ist, ist unsere Einschätzung.
Was robots.txt macht
robots.txt ist eine reine Textdatei auf der obersten Ebene Ihrer Website, zum Beispiel https://www.example.com/robots.txt. Laut Google teilt sie Crawlern mit, auf welche URLs sie zugreifen dürfen, und dient vor allem dazu, den Crawler-Traffic zu steuern.
Sie ist kein Mittel, um eine Seite aus Google herauszuhalten. Dafür verweist Google auf noindex oder einen Passwortschutz, denn eine blockierte URL kann trotzdem erscheinen, wenn andere Websites auf sie verlinken. Google weist außerdem darauf hin, dass seriöse Crawler die Regeln befolgen, andere aber möglicherweise nicht.
Was llms.txt ist
llms.txt ist ein Vorschlag, der im September 2024 auf llmstxt.org veröffentlicht wurde. Er beschreibt eine Markdown-Datei, die KI-Tools einen kurzen, kuratierten Wegweiser zu einer Website gibt. Pflicht ist nur eine Hauptüberschrift mit dem Namen der Website. Optional sind unter anderem eine einzeilige Zusammenfassung und Linklisten.
Der Vorschlag ist offen für Beiträge aus der Community. Lesen Sie ihn deshalb als Vorschlag in der Diskussion, nicht als festen Standard. So lesen wir ihn. Mehr zur Datei selbst finden Sie im Beitrag „llms.txt: Was ist das, und braucht Ihre Website eine?“.
Wie sich die beiden unterscheiden
Der llms.txt-Vorschlag selbst sagt, dass die beiden Dateien unterschiedlichen Zwecken dienen. robots.txt legt fest, welcher automatisierte Zugriff akzeptabel ist. llms.txt soll bei Bedarf gelesen werden, wenn ein KI-Tool Informationen braucht, um einer Person zu helfen.
- robots.txt: Regeln für den Zugriff. Gelesen von Crawlern der Suchmaschinen und KI-Dienste. Fehler können Suchmaschinen daran hindern, Ihre Website zu crawlen
- llms.txt: eine Zusammenfassung von Inhalten. Wird von der Google Suche nicht genutzt. Fehler bedeuten meist nur eine veraltete Zusammenfassung
- Sitemap: eine Liste der Seiten, die gefunden werden sollen. Laut dem Vorschlag kann eine Sitemap die Aufgabe von llms.txt nicht übernehmen
Was Google zu llms.txt sagt
Googles Leitfaden zu generativen KI-Funktionen sagt, dass Sie keine neuen maschinenlesbaren Dateien, KI-Textdateien oder Markdown brauchen, um in der Google Suche zu erscheinen, weil die Google Suche sie nicht nutzt. Er ergänzt, dass es in Ordnung ist, eine llms.txt für andere Dienste anzulegen, und dass das Ihrer Sichtbarkeit oder Ihren Rankings in der Google Suche weder schadet noch hilft.
Damit eine Seite für KI-Funktionen in der Google Suche infrage kommt, muss sie laut Google indexiert sein und mit einem Snippet erscheinen dürfen, und die Website darf in der Search Console-Einstellung „Search generative AI“ nicht ausgeschlossen sein.
Was Sie heute prüfen
Die Reihenfolge ist unsere Empfehlung. Ein Punkt heute reicht.
- Öffnen Sie ihre-website.de/robots.txt und suchen Sie unter „User-agent: *“ nach „Disallow: /“. Prüfen Sie auch, ob es eine eigene Gruppe für Googlebot gibt: Google verwendet die spezifischste passende Gruppe. Fragen Sie bei einer unerwarteten Sperre die Person, die Ihre Website betreut, nach dem Grund, bevor Sie etwas ändern
- Suchen Sie nach Ihrem Firmennamen und prüfen Sie, ob Ihre Seiten erscheinen
- Wenn Sie trotzdem eine llms.txt möchten, halten Sie sie mit Ihren Seiten im Einklang und legen Sie fest, wer sie aktualisiert
Unsere eigene Website hat mit Stand vom 8. November 2026 keine llms.txt. Wir legen eine an, wenn ein Dienst, auf den wir uns stützen, sie in seiner offiziellen Dokumentation verlangt.
Wo wir hineinpassen
Get1pct ist ein Dienst, der Ihnen an Tagen mit geeigneten Ideen bis zu drei konkrete Verbesserungen schickt, darunter Prüfungen wie diese. Einen Platz in KI-Antworten kann er nicht versprechen. Die aktuellen Verfügbarkeitsbedingungen finden Sie in den Hinweisen auf dieser Seite. Sie können sich auch per E-Mail für eine einmalige Benachrichtigung zur Verfügbarkeit anmelden.