- →Eine einzige Zeile für alle KI-Bots ist keine Politik, sondern ein Verzicht: Training, Retrieval und Agentenzugriff brauchen jeweils eine eigene Entscheidung, weil nur die letzten beiden Zitate und Klicks erzeugen können.
- →Die BuzzStream-Auswertung von rund 100 großen US- und UK-Nachrichtenseiten (veröffentlicht Anfang 2026) zeigt das Muster: 79 % sperren mindestens einen Trainings-Crawler, aber 71 % sperren auch mindestens einen Retrieval-Crawler, oft ohne es zu wollen.
- →robots.txt ist deklarierte Politik für kooperative Crawler, kein Schutzmechanismus. Cloudflare dokumentierte im August 2025 nicht deklariertes Crawling bei Perplexity. Was wirklich geschützt werden muss, gehört hinter Authentifizierung, WAF oder Rate Limiting.
- →Google-Extended zu sperren ist eine Entscheidung über Trainings- und Grounding-Nutzung, nicht über Sichtbarkeit in der Suche. Googlebot zu sperren kostet dagegen sofort klassische Rankings, laut Googles eigener Crawler-Dokumentation.
- →Seit dem 3. Juni 2026 liefert die Search Console eigene Berichte zur generativen KI-Performance, allerdings ohne getrennte Klickdaten pro KI-Feature. Für die Wirkungsmessung einer robots.txt-Änderung reicht das allein nicht.
- →Vor jeder Linkplatzierung gehört die robots.txt des Zielmediums geprüft: Ein Host, der Retrieval-Crawler aussperrt, trägt den Link zwar in den klassischen Index, aber praktisch nicht in KI-Antworten.
Was robots.txt 2026 tatsächlich regelt
Die Datei hat ihre Rolle gewechselt, ohne dass sich ihre Syntax geändert hätte. Zehn Jahre lang war sie ein Werkzeug der technischen Steuerung: Facettenparameter aussperren, Suchergebnisseiten aus dem Crawl nehmen, Crawl-Budget auf die Vorlagen lenken, die Umsatz bringen. Heute ist sie zusätzlich die Stelle, an der ein Betreiber festlegt, unter welchen Bedingungen Sprachmodelle seine Inhalte verwenden dürfen. Das ist keine technische Frage mehr, sondern eine geschäftliche, und sie wird in vielen Redaktionen von Leuten beantwortet, die den Unterschied zwischen einem Trainings-Crawler und einem Abruf-Crawler nicht kennen.
Google hat diese Trennung mit seiner Dokumentation selbst nachgezogen. Am 15. Mai 2026 veröffentlichte das Unternehmen einen Leitfaden zur Optimierung für generative Suchfunktionen und stellte darin ausdrücklich klar, dass Arbeit an der Sichtbarkeit in KI-Antwortflächen weiterhin SEO ist und keine separate Disziplin. Parallel dazu präzisierte die Crawler-Dokumentation, welcher User-Agent welches Google-Produkt speist, inklusive robots.txt-Beispielen für die einzelnen Tokens. Wer Googlebot sperrt, verliert klassische Sichtbarkeit. Wer Google-Extended sperrt, trifft eine Aussage über Trainings- und Grounding-Nutzung, nicht über die Aufnahme in den Suchindex. Diese beiden Entscheidungen haben nichts miteinander zu tun, und sie werden trotzdem ständig in einem Rutsch getroffen.
Zweiter Punkt, der in Diskussionen gern untergeht: robots.txt bindet niemanden. Sie ist eine Erklärung, an die sich kooperative Crawler halten. Cloudflare dokumentierte im August 2025 Belege dafür, dass Perplexity nicht deklariertes Crawling einsetzte, das robots.txt-Anweisungen umgehen konnte, und erweiterte anschließend seine AI Crawl Control, um nicht konforme Signaturen an der Netzwerkkante zu erkennen und zu blockieren. Die Konsequenz für die Praxis ist unspektakulär, aber sie wird selten gezogen: Alles, was wirklich nicht abgegriffen werden soll, gehört hinter Authentifizierung, Rate Limiting oder eine WAF-Regel. Die robots.txt regelt den Umgang mit denen, die fragen.
Drei Crawler-Familien, eine Entscheidung pro Familie
Die einzige Einteilung, die operativ trägt, unterscheidet nach Zweck des Abrufs. Trainings-Crawler holen Text, um Modellgewichte zu erzeugen. Sie zahlen nichts zurück: kein Zitat, kein Link, kein Besucher, allenfalls eine diffuse Präsenz im Modellwissen. GPTBot, ClaudeBot, CCBot und Google-Extended fallen in diese Gruppe. Retrieval-Crawler holen Text, um eine konkrete Nutzerfrage zu beantworten, und genau aus diesen Abrufen entstehen die Quellenangaben unter einer generierten Antwort. Die dritte Familie sind Agenten, die eine Seite abrufen, weil ein Mensch in diesem Moment etwas verlangt hat, etwa ChatGPT-User.
Für die erste Gruppe ist Sperren eine legitime, oft rationale Entscheidung. Für die zweite ist sie fast immer ein Eigentor, weil sie genau den Kanal kappt, um den es beim Optimieren für generative Antwortmaschinen überhaupt geht. Für die dritte ist Sperren schwer zu rechtfertigen: Da steht ein realer Nutzer dahinter, der die Seite ohnehin sehen dürfte.
In der Praxis heißt das: eine robots.txt mit drei Blöcken statt einem, jeder mit einer eigenen Begründung, die im Repository als Kommentar oder im Ticket dokumentiert ist. Wer in sechs Monaten nicht mehr weiß, warum ein User-Agent gesperrt wurde, wird die Regel nie wieder anfassen. Das erklärt einen guten Teil der Sperrlisten, die man heute in freier Wildbahn sieht: 2023 aus einem Blogpost kopiert, seitdem nicht überprüft, inzwischen mit einem halben Dutzend Bots, die es nicht mehr gibt, und ohne die, die seit 2025 relevant sind. Die Grundlagen der Syntax stehen in unserem Eintrag zu Aufbau und Wirkung der robots.txt; hier geht es um die Politik dahinter.
Crawl-Aufwand gegen Referral-Ertrag: die Zahlen
Die Datenlage ist inzwischen gut genug, um die Debatte aus dem Bauchgefühl zu holen. Cloudflare wertete für den Zeitraum Mai 2024 bis Mai 2025 den eigenen Traffic aus: Crawler-Verkehr insgesamt plus 18 %, Googlebot plus 96 %, GPTBot plus 305 %, ChatGPT-User plus 2 825 % von einer kleinen Ausgangsbasis. Im Juli 2025 lag GPTBots Anteil am KI-Crawler-Verkehr bei 11,7 % nach 4,7 % im Vorjahr, ClaudeBot bei rund 10 % nach 6 %, während Bytespider von 14,1 % auf 2,4 % abstürzte. Der Jahresrückblick vom Dezember 2025 setzt das ins Verhältnis: KI-Bots machten 4,2 % aller HTML-Anfragen aus, Googlebot allein 4,5 %.
Die aussagekräftigste Kennzahl aus derselben Cloudflare-Auswertung ist das Verhältnis von Abrufen zu vermittelten Besuchern. Anthropic kam auf rund 38 000 Crawls je vermitteltem Besucher, Perplexity auf rund 194. Beides sind keine Handelsbeziehungen im klassischen Sinn, aber der Größenunterschied zeigt, dass „KI-Bot“ als Sammelkategorie nichts erklärt. Cloudflare beziffert den Anteil des trainingsorientierten Crawlings am gesamten KI-Crawling für 2025 auf knapp 80 %, während das nutzergetriebene Abrufen im Jahresverlauf 2025 um mehr als das Fünfzehnfache zulegte. Die Richtung ist damit klar: Der Teil, der Besucher bringen kann, wächst am schnellsten und ist gleichzeitig der Teil, den die meisten Sperrlisten mit erwischen.
Für die Messung der eigenen Seite hat sich seit dem 3. Juni 2026 etwas verbessert. Die Search Console liefert eigene Berichte zur Performance in generativen Suchfunktionen, für AI Overviews, AI Mode und generative Funktionen in Discover, mit Impressionen, Seiten, Ländern, Geräten und Datum. Klickdaten getrennt nach KI-Feature liefert die erste Version ausdrücklich nicht. Wer die Wirkung einer robots.txt-Änderung belegen will, kombiniert deshalb Server-Logs (welche User-Agents holen was, in welcher Frequenz) mit einem Zitat-Monitoring über mehrere Antwortmaschinen. Beides zusammen, sonst bleibt es eine Meinung.
Wo das im Netlinking-Betrieb zählt
Hier wird aus einer Redaktionsentscheidung eine Einkaufsentscheidung. Wenn ein Beitrag auf einem Fachmedium platziert wird und dieses Medium Retrieval-Crawler aussperrt, dann existiert der Link für Googles klassischen Index, aber praktisch nicht für die Systeme, die Antworten aus abgerufenen Quellen zusammensetzen. Die BuzzStream-Auswertung, Anfang 2026 veröffentlicht und von Search Engine Journal aufgegriffen, hat für rund 100 führende US- und UK-Nachrichtenseiten genau das gemessen: 79 % sperrten mindestens einen Trainings-Crawler, 71 % mindestens einen Retrieval-Crawler, 67 % speziell PerplexityBot, 46 % Google-Extended. Nur 14 % sperrten alle untersuchten KI-Crawler, 18 % keinen einzigen. Das Sperren des Retrieval-Kanals ist also fast so verbreitet wie das Sperren des Trainings-Kanals, obwohl die zweite Entscheidung deutlich teurer ist.
Daraus folgt ein Prüfschritt, der zehn Sekunden dauert und in kaum einem Auswahlprozess vorkommt: die robots.txt des Zielmediums lesen, bevor eine Platzierung gekauft wird. Wer eine Auswahl an Medien mit öffentlich einsehbaren Kennzahlen durchgeht, sollte diese Zeile genauso selbstverständlich prüfen wie Referring Domains oder Themenpassung. Bei Nautilinks ist das insofern einfacher, als die französischen Redaktionsmedien im Eigenbetrieb laufen: Die Zugriffspolitik ist dort eine bewusste Entscheidung und keine Blackbox, die ein fremder Verlag jederzeit ändern kann.
Der zweite Berührungspunkt betrifft die Kampagnenplanung. Sichtbarkeit in generierten Antworten hängt daran, dass eine Marke auf Quellen auftaucht, die abgerufen werden dürfen. Wer Präsenz in KI-Antworten aufbauen will, braucht dafür Hosts, deren robots.txt das überhaupt zulässt, und das ist ein Auswahlkriterium neben Autorität und Thema, kein Ersatz dafür. Wer die Auswahl über längere Zeiträume kalibriert, tut das ohnehin schon anhand mehrerer Signale; dieses kommt hinzu.
Was wir in Audits schieflaufen sehen
Der häufigste Fehler ist die kopierte Sperrliste. Sie stammt aus einem Beitrag eines Verlags mit Lizenzverhandlungen im Hintergrund, dessen Interessenlage mit der eines B2B-Anbieters nichts gemein hat. Ein Verlag, der Trainingsdaten verkaufen will, hat gute Gründe, alles zuzumachen. Ein Anbieter, der über Sichtbarkeit Leads gewinnt, hat sie nicht.
Zweiter Klassiker: Disallow wird mit Löschen verwechselt. Eine Sperre wirkt ab dem Zeitpunkt, an dem sie gesetzt wird. Was bereits in Trainingskorpora eingegangen ist, verschwindet dadurch nicht, und ein Modell, das eine Marke kennt, wird sie weiter nennen. Wer erwartet, dass ein Disallow rückwirkend etwas aus einem Modell entfernt, wird enttäuscht.
Dritter Fall: die Sperre trifft mehr als gedacht. Ein Disallow auf ein Verzeichnis, unter dem auch Ratgeberinhalte liegen, nimmt die gesamte Contentstrecke aus dem Abruf, obwohl nur der Login-Bereich gemeint war. Wildcards machen das schlimmer, weil sie stillschweigend Pfade erfassen, die erst später entstanden sind. Ein robots.txt-Tester gegen eine Liste echter URLs ist hier fünf Minuten Arbeit und verhindert Monate falscher Annahmen.
Vierter Fall: robots.txt wird für etwas eingesetzt, wofür sie nicht gebaut ist. Eine gesperrte Seite kann trotzdem in Ergebnissen auftauchen, weil Crawler den Inhalt nicht lesen dürfen, die URL aber über Verlinkungen kennen. Für Ausschluss aus dem Index ist noindex zuständig, und noindex kann nur greifen, wenn die Seite gecrawlt werden darf. Diese Kombination aus Disallow plus noindex sieht man auf jeder zweiten Auditliste, und sie hebt sich selbst auf.
Taktische Konsequenzen für den laufenden Betrieb
Anfangen bei den Logs, nicht bei der Datei. Vier Wochen User-Agents auszählen, danach steht fest, wer wirklich vorbeikommt und in welchem Umfang. Erst dann Regeln schreiben, getrennt nach Training, Abruf und Agent, jede mit einer Begründung im Ticket. Die Datei danach quartalsweise anfassen, weil sich die Crawler-Landschaft schneller verändert als die meisten Content-Strategien: Bytespiders Absturz von 14,1 % auf 2,4 % Anteil binnen eines Jahres ist dafür das anschauliche Beispiel.
Wer die reine Alles-oder-nichts-Logik verlassen will, hat inzwischen Alternativen. Cloudflare führte mit Pay per Crawl Antworten mit HTTP 402 ein, über die Betreiber für den Abruf durch KI-Crawler eine Gegenleistung verlangen können. Für ein einzelnes Fachmedium ist das selten die Antwort, für eine größere Publikationsgruppe kann es eine sein. Und für alles, was tatsächlich vertraulich ist, bleibt die Regel von oben: Authentifizierung statt Erklärung.
Schließlich die Frage, die in Strategiegesprächen zu selten gestellt wird. Sichtbarkeit in generierten Antworten entsteht nicht dadurch, dass ein Crawler eine Seite abrufen darf, sondern dadurch, dass die Seite zitierwürdig ist und aus mehreren unabhängigen Quellen gestützt wird. Die robots.txt entscheidet nur, ob dieser Aufbau überhaupt stattfinden kann. Sie ist die Tür, nicht der Grund, hereinzukommen. Wer die Tür öffnet und nichts dahinter hat, gewinnt genau nichts; wer sie zumacht und darauf hofft, trotzdem genannt zu werden, ebenfalls. Für den zweiten Teil, die Substanz, hilft die Datei nicht weiter, dafür braucht es Inhalte und eine über Monate kalibrierte Autoritätsarbeit, die sich an echten Themenclustern orientiert.
Nautilinks betreibt ein eigenes Netzwerk redaktioneller Medien. In-House verfasste Artikel, Transparenzhinweise beachtet, Ankertext-Mix kalibriert.
Häufige Fragen
Kostet das Sperren von Google-Extended Sichtbarkeit in AI Overviews?
Nach Googles Crawler-Dokumentation steuert Google-Extended die Nutzung von Inhalten für Trainings- und Grounding-Zwecke in Googles generativen Produkten, nicht die Aufnahme in den Suchindex. AI Overviews in der Suche werden über Googlebot bedient. Die Entscheidung über Google-Extended ist also eine über Content-Nutzung, nicht über Ranking. Googlebot zu sperren wirkt dagegen sofort und umfassend auf klassische Sichtbarkeit. Die BuzzStream-Auswertung von Anfang 2026 zeigt, dass 46 % der untersuchten Nachrichtenseiten Google-Extended sperren.
Wie prüfe ich vor einer Linkplatzierung, ob ein Medium Retrieval-Crawler zulässt?
Die robots.txt der Domain abrufen und gezielt nach den Abruf-Crawlern der Antwortmaschinen suchen, nicht nur nach den bekannten Trainings-Bots. Ein Host kann GPTBot sperren und trotzdem für Echtzeit-Abrufe offen sein, oder umgekehrt. Zusätzlich prüfen, ob eine Sperre den Pfad trifft, unter dem der Beitrag erscheinen soll: Ein Disallow auf ein Ratgeberverzeichnis nimmt die Platzierung aus dem Abruf, während die Startseite offen bleibt.
Bringt es etwas, Trainings-Crawler zu sperren, wenn die Inhalte bereits in Modellen stecken?
Rückwirkend nichts. Eine Sperre wirkt ab dem Setzen, bereits verarbeitete Inhalte verschwinden dadurch nicht aus Modellgewichten. Sinnvoll ist die Sperre für künftige Trainingsläufe und als dokumentierte Position, falls es später zu Lizenzgesprächen kommt. Wer erwartet, dass eine Marke nach dem Disallow aus generierten Antworten verschwindet, verwechselt Trainingsdaten mit Abrufquellen. Für Letztere entscheidet der Retrieval-Crawler, nicht der Trainings-Bot.
Wie messe ich, ob eine robots.txt-Änderung tatsächlich gewirkt hat?
Server-Logs vor und nach der Änderung nach User-Agent auszählen, das zeigt die Compliance-Seite. Für die Wirkungsseite die seit dem 3. Juni 2026 verfügbaren Search-Console-Berichte zur generativen KI-Performance heranziehen, die Impressionen, Seiten, Länder und Geräte liefern. Klicks getrennt nach KI-Feature gibt es in der ersten Version nicht, deshalb braucht es zusätzlich ein Zitat-Monitoring über mehrere Antwortmaschinen. Mindestens sechs Wochen Beobachtung ansetzen, kürzere Fenster sind Rauschen.
Reicht robots.txt aus, um kostenintensive Ressourcen vor KI-Crawlern zu schützen?
Nein. Die Datei ist eine Erklärung an kooperative Clients. Cloudflare dokumentierte im August 2025 nicht deklariertes Crawling bei Perplexity, das robots.txt-Anweisungen umgehen konnte, und reagierte mit Erkennung nicht konformer Signaturen an der Netzwerkkante. Für teure Endpunkte, Bezahlinhalte und private Bereiche braucht es Authentifizierung, Rate Limiting oder WAF-Regeln. Cloudflares Pay per Crawl mit HTTP-402-Antworten ist eine weitere Option, wenn Zugriff nicht verboten, sondern vergütet werden soll.
Prüfen Sie Ihr Wissen
Quiz: robots.txt für KI-Crawler
1/3Welcher Befund aus der BuzzStream-Auswertung von rund 100 US- und UK-Nachrichtenseiten ist für Netlinking am folgenreichsten?