- →Anthropic hat am 25. Februar 2026 klargestellt, dass ClaudeBot (Trainingsdaten), Claude-User (nutzerausgelöster Abruf) und Claude-SearchBot (Index für Claude-Suche) getrennte Aufgaben haben. Ein Disallow für ClaudeBot kostet keine Sichtbarkeit, ein Disallow für Claude-SearchBot schon.
- →ClaudeBot ist ein Kostenfaktor, kein Traffic-Kanal: Cloudflare maß im Juli 2025 rund 38.065 gecrawlte Seiten pro Referral, eine Auswertung der Radar-Daten vom 1. Januar bis 16. März 2026 kam auf 23.951:1 gegenüber etwa 5:1 bei Google.
- →Der Anteil schwankt stark: 11,69 % im April 2026, 9,73 % im Mai, rund 19,8 bis 20 % im Juni, 16,28 % im Juli. Monatswerte taugen nicht als Planungsgrundlage, das eigene Server-Log schon.
- →Blockieren wird selektiver: In einer Momentaufnahme von 107 prominenten Sites im Juni 2026 sperrten 38 Sites (35,5 %) ClaudeBot gezielt, nur 9 (8,4 %) nutzten eine pauschale Wildcard-Sperre.
- →Sichtbarkeit in Claude entsteht über Erwähnungen und Verlinkungen auf Seiten, die der Bot ohnehin abruft. Wer nur die eigene Domain öffnet, überlässt das Zitat der Quelle, die häufiger genannt wird.
Drei Bots, drei Zwecke: ClaudeBot ist nicht Claude
Der häufigste Fehler in deutschen robots.txt-Dateien ist nicht die falsche Syntax, sondern die falsche Annahme dahinter: dass es einen Anthropic-Crawler gibt und dass ein Disallow für diesen einen Bot die Sache erledigt. Anthropic hat am 25. Februar 2026 seine Crawler-Dokumentation präzisiert und drei getrennte User-Agents mit drei getrennten Zwecken beschrieben (Search Engine Land, Februar 2026). ClaudeBot sammelt öffentliche Webinhalte, die potenziell ins Modelltraining einfließen. Claude-User ruft Seiten ab, wenn ein Nutzer in einer Konversation genau danach fragt oder ein Agent eine URL öffnet. Claude-SearchBot indexiert Inhalte für die Suchergebnisse innerhalb von Claude.
Diese Trennung ist der ganze Unterschied zwischen einer Datenschutzentscheidung und einer Sichtbarkeitsentscheidung. Wer ClaudeBot sperrt, verweigert die Nutzung seiner Texte für künftiges Training. Wer Claude-SearchBot sperrt, nimmt sich selbst aus dem Index, aus dem Claude bei Suchanfragen schöpft. Wer Claude-User sperrt, verhindert, dass das Modell die eigene Seite in Echtzeit öffnet, wenn ein Nutzer sie explizit erwähnt. Das sind drei Entscheidungen, keine einzige, und sie haben nichts miteinander zu tun.
Die Systemkarten der 2026er Claude-Modelle beschreiben ClaudeBot weiterhin als allgemeinen Crawler für Trainingsdaten und halten fest, dass er die Anweisungen der robots.txt einer Site befolgt (Anthropic System Cards, Mai und Juni 2026). Das ist eine Selbstverpflichtung, kein technischer Zwang, und genau so sollte man sie behandeln: als Ausgangspunkt einer Policy, die man anschließend im Log verifiziert.
Praktisch heißt das für jeden Betreiber einer Content-Site: Die Frage lautet nicht mehr, ob man KI-Crawler zulässt, sondern welchen von ihnen wofür. Wer diese Unterscheidung nicht trifft, trifft sie trotzdem, nur unbewusst und meistens gegen die eigenen Interessen. Die Mechanik hinter der Steuerung von KI-Crawlern über die robots.txt ist simpel, die Konsequenzen sind es nicht.
Wie viel ClaudeBot wirklich crawlt und wie man es misst
Die Zahlen zum Volumen sind öffentlich verfügbar, aber sie werden fast überall falsch gelesen. Cloudflare verglich im Juli 2025 die Anteile am gesamten KI-Crawler-Traffic und stellte fest, dass ClaudeBot von rund 6 % im Juli 2024 auf knapp 10 % im Juli 2025 gestiegen war, während GPTBot von 4,7 % auf 11,7 % zulegte und Bytespider von 14,1 % auf 2,4 % abstürzte (Cloudflare Blog, Juli 2025). Wer daraus einen Trend ableitet, wird von den Monatswerten 2026 sofort widerlegt: 11,69 % im April, 9,73 % im Mai, rund 19,8 bis 20 % im Juni, 16,28 % im Juli, wobei der Juni-Sprung von etwa 66 % gegenüber dem Vormonat ClaudeBot hinter Googlebot zum zweitgrößten einzelnen KI-Crawler machte (Cloudflare-basierte Auswertungen, 2026).
Solche Schwankungen entstehen durch Trainingsläufe, nicht durch stabile Nachfrage. Für die Kapazitätsplanung eines Servers ist der Branchendurchschnitt daher wertlos. Was zählt, ist das eigene Log. Eine Studie über 12 Produktionssites und 30 Tage, veröffentlicht am 26. April 2026, maß etwa 1.800 ClaudeBot-Hits pro Site und Tag gegenüber 4.200 bei GPTBot und 980 bei PerplexityBot, und stellte fest, dass ClaudeBot mit durchschnittlich 5,2 Seiten Tiefe pro Sitzung deutlich tiefer crawlte als GPTBot mit 3,8 und dabei Dokumentations- und API-Pfade bevorzugte. Die Stichprobe umfasste 12 Sites, das ist eine Richtungsangabe und keine Branchenstatistik.
Im Log erkennt man den Bot am User-Agent-String, der ClaudeBot oder Claude-SearchBot oder Claude-User enthält und eine Kontakt-URL von Anthropic mitführt. Verlassen sollte man sich darauf nicht: Ein User-Agent ist ein frei wählbares Textfeld, und gefälschte KI-Crawler sind in Logs deutscher Sites längst Alltag. Wer eine Sperre durchsetzen will, verifiziert zuerst über die von Anthropic publizierten IP-Bereiche, bevor er auf Serverebene blockt. Alles andere sperrt am Ende echte Nutzer aus und lässt den Scraper durch.
robots.txt differenziert steuern statt pauschal sperren
Die Policy, die für die meisten kommerziellen Content-Sites sinnvoll ist, lässt sich in acht Zeilen schreiben. Trainingszugriff verweigern, Such- und Abrufzugriff erlauben:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /Das ist keine Universallösung, sondern eine Position: Der eigene Bestand soll kein kostenloses Trainingsmaterial werden, die Sichtbarkeit in Claude-Antworten soll erhalten bleiben. Wer Fachdokumentation betreibt und darauf angewiesen ist, dass Modelle die eigene Terminologie kennen, wird ClaudeBot bewusst offen lassen. Wer Paid Content oder aufwendig recherchierte Studien publiziert, wird härter sperren. Was in keinem Fall funktioniert, ist die Wildcard-Sperre, die alles blockt und dann die Frage aufwirft, warum eine Marke in generativen Antworten nicht mehr vorkommt.
Crawl-Delay ist die zweite Stellschraube und wird überschätzt. Es ist eine nicht standardisierte Direktive, deren Einhaltung von der Implementierung des Crawlers abhängt, und sie hilft gegen Serverlast, nicht gegen Datenabfluss. Wenn ein Bot messbar Ressourcen frisst, gehört die Bremse ohnehin eine Ebene tiefer: .htaccess-Regeln oder Firewall-Regeln setzen durch, was robots.txt nur höflich vorschlägt. Die Reihenfolge sollte trotzdem robots.txt zuerst sein, weil sie dokumentiert, was gewollt ist, und weil ein 403 auf Serverebene ohne vorherige robots.txt-Regel wie eine Fehlkonfiguration aussieht.
Die Entwicklung geht klar zur Selektivität. Eine Momentaufnahme von 107 prominenten Sites im Juni 2026 zeigte, dass 38 Sites (35,5 %) ClaudeBot explizit sperrten, 39 (36,4 %) mindestens einen Anthropic-Crawler und 48 (44,9 %) mindestens einen großen KI-Crawler, während nur 9 Sites (8,4 %) mit einer pauschalen Wildcard arbeiteten. Cloudflare berichtete im Januar 2026, dass zwischen Juli 2025 und Januar 2026 fast siebenmal so viele Sites populäre KI-Crawler wie ClaudeBot und GPTBot sperrten wie Googlebot und Bingbot.
Was das für Netlinking und GEO bedeutet
Die entscheidende Kennzahl für die kommerzielle Bewertung von ClaudeBot ist das Verhältnis von gecrawlten Seiten zu zurückgeschickten Besuchern. Cloudflare maß für Juli 2025 rund 38.065 gecrawlte Seiten pro Referral, nach 286.930:1 ein halbes Jahr zuvor. Eine Auswertung der Radar-Daten für den Zeitraum 1. Januar bis 16. März 2026 kam auf 23.951:1, gegenüber 1.276:1 bei GPTBot, etwa 111:1 bei Perplexity und etwa 5:1 bei Google. Die Autoren weisen ausdrücklich darauf hin, dass diese Verhältnisse stark vom Zeitfenster, von der Site-Auswahl und von der Referral-Zuordnung abhängen und dass Traffic aus nativen Apps oft ohne Referer-Header ankommt.
Die Schlussfolgerung ist trotzdem eindeutig und sie sollte jedem, der Budget für Sichtbarkeit in generativen Antworten plant, die Richtung vorgeben: ClaudeBot ist eine Beschaffungskosten-Position, kein Akquisitionskanal. Cloudflare fand im Juli 2025, dass 79 % des KI-Crawlings dem Training dienten, 17 % der Suche und 3,2 % dem nutzerausgelösten Abruf. Sichtbarkeit entsteht in den 17 % plus 3,2 %, nicht in den 79 %.
Operativ heißt das: Wer in Claude zitiert werden will, gewinnt nicht dadurch, dass er ClaudeBot besonders viel Futter gibt, sondern dadurch, dass die eigene Marke auf den Seiten steht, die bei einer Anfrage abgerufen werden. Das ist die gleiche Mechanik wie bei Zitaten in generativen Antworten allgemein: Erwähnungen auf thematisch passenden, redaktionell geführten Medien wirken, weil sie mehrfach in den abgerufenen Quellen vorkommen. Genau deshalb bewerten wir bei Nautilinks die Medien, die wir selbst im Eigenbetrieb führen, inzwischen auch danach, wie oft ihre Inhalte in Antwortmaschinen als Quelle auftauchen, und nicht nur nach klassischen Linkmetriken. Wer diesen Teil systematisch angehen will, arbeitet entweder über eine gezielte Arbeit an der Sichtbarkeit in KI-Antworten oder plant die Erwähnungen direkt in die redaktionelle Platzierung ein, etwa über den öffentlich einsehbaren Medienkatalog ohne Zwischenhändler.
Der zweite Grund, warum das 2026 zählt: Google hat am 15. Mai 2026 seinen ersten offiziellen Leitfaden zur Optimierung für generative Suche veröffentlicht und darin festgehalten, dass klassisches SEO die Grundlage bleibt, weil AI Overviews und AI Mode auf den bestehenden Ranking- und Qualitätssystemen aufsetzen. Am 3. Juni 2026 kam in der Search Console eine eigene Berichterstattung für generative Suchfeatures dazu. Die Messbarkeit holt also auf, und das verschiebt Budgets. Wer eine Kampagne über mehrere Quartale kalibriert, tut das sinnvollerweise mit einer durchgehend begleiteten Strategie statt punktueller Einzelplatzierungen.
Was wir in Audits regelmäßig falsch gemacht sehen
Der erste Fehler ist die Sperre ohne Messung. Eine robots.txt-Zeile wird geschrieben, weil ein Artikel dazu geraten hat, und niemand schaut anschließend ins Log, ob der Bot vorher überhaupt nennenswert da war. In vielen mittelgroßen deutschen Sites liegt der ClaudeBot-Anteil bei einem Bruchteil dessen, was in Branchenstatistiken steht. Wer aus Angst vor Serverlast sperrt, ohne die Last je gemessen zu haben, verzichtet auf Sichtbarkeit gegen ein Problem, das er nicht hat.
Der zweite Fehler ist das Umgekehrte: alles offen lassen und dann jede Schwankung im Traffic auf KI-Crawler schieben. Die Datenlage dazu ist ausdrücklich unsicher. Eine Publisher-Studie von Rutgers und Wharton berichtete, dass die 30 größten Publisher, die KI-Crawler sperrten, einen Rückgang von 23 % beim Gesamt-Traffic und 14 % beim menschlichen Traffic verzeichneten, warnte aber selbst davor, daraus Kausalität abzuleiten, und eine spätere Revision kam auf einen deutlich kleineren wöchentlichen Rückgang von etwa 7 %. Wer mit solchen Zahlen eine Entscheidung begründet, begründet sie mit einem Korrelationsartefakt.
Der dritte Fehler ist die inkonsistente Kette. robots.txt erlaubt Claude-SearchBot, die Firewall blockt den zugehörigen IP-Bereich, und niemand merkt es, weil niemand die Antwortcodes pro User-Agent auswertet. Ein 403 auf Serverebene überschreibt jede Absicht in der robots.txt. Genauso wirkungslos ist eine saubere Crawler-Policy auf einer Site, deren Inhalte hinter einer Client-seitigen Rendering-Schicht liegen, die der Bot nicht ausführt.
Der vierte Fehler ist begrifflich und kostet trotzdem Geld: ClaudeBot mit Claude gleichzusetzen und daraus abzuleiten, dass eine Sperre die Marke aus dem Modell entfernt. Was bereits trainiert ist, verschwindet durch eine Disallow-Zeile nicht. Die Sperre wirkt nach vorne, für künftige Trainingsläufe, und sonst nichts.
DSGVO, Urheberrecht und die Grenzen der Freiwilligkeit
Für deutsche Betreiber kommt eine Schicht dazu, die im englischsprachigen Material fast vollständig fehlt. Öffentlich zugängliche Seiten enthalten regelmäßig personenbezogene Daten, von Autorenprofilen über Kommentare bis zu Kontaktseiten, und deren Erfassung durch einen Trainings-Crawler ist eine Verarbeitung. Die Transparenzpflichten treffen dabei zuerst den Betreiber, der die Daten publiziert, nicht den Crawler, der sie einsammelt. Eine Datenschutzerklärung, die KI-Crawling nicht erwähnt, während die robots.txt es ausdrücklich erlaubt, ist eine Lücke, die man in zwei Sätzen schließen kann.
Auf der urheberrechtlichen Seite ist die Lage in Deutschland durch den Vorbehalt beim Text- und Data-Mining klarer als anderswo: Ein maschinenlesbar erklärter Nutzungsvorbehalt ist die Voraussetzung dafür, sich später überhaupt auf etwas berufen zu können. Die robots.txt ist dafür der pragmatischste Ort, weil sie genau die Datei ist, die Anthropic laut eigener Dokumentation liest. Wer den Vorbehalt zusätzlich in den Nutzungsbedingungen und in einer maschinenlesbaren Lizenzangabe hinterlegt, dokumentiert eine Absicht, die im Streitfall nachweisbar ist.
Was dabei nüchtern bleiben sollte: robots.txt ist ein freiwilliges Protokoll. Es hat keine Durchsetzungskraft, es ist eine Bitte, die seriöse Betreiber respektieren und die Scraper ignorieren. Eine Site, deren Geschäftsmodell davon abhängt, dass Inhalte nicht abgegriffen werden, braucht Zugriffskontrolle, nicht eine Textdatei. Für alle anderen, und das ist die große Mehrheit, ist die richtige Haltung eine differenzierte Policy plus regelmäßige Log-Kontrolle: Training verweigern, wenn nichts dafür spricht, Suche und Abruf offen halten, weil dort die Sichtbarkeit entsteht, und einmal im Quartal nachsehen, ob sich die Bots noch daran halten.
Nautilinks betreibt ein eigenes Netzwerk redaktioneller Medien. In-House verfasste Artikel, Transparenzhinweise beachtet, Ankertext-Mix kalibriert.
Häufige Fragen
Wenn ich ClaudeBot sperre, verschwinde ich dann aus Claude-Antworten?
Nein, jedenfalls nicht dadurch. ClaudeBot sammelt laut Anthropic-Dokumentation von Februar 2026 Inhalte für potenzielles Modelltraining. Für die Sichtbarkeit in Claude-Suchergebnissen ist Claude-SearchBot zuständig, für den Echtzeitabruf bei konkreten Nutzerfragen Claude-User. Wer nur ClaudeBot sperrt und die anderen beiden offen lässt, verzichtet auf Trainingsnutzung und behält die Abrufwege. Umgekehrt kostet eine pauschale Wildcard-Sperre genau die Sichtbarkeit, die man eigentlich behalten wollte.
Lohnt es sich, ClaudeBot bewusst offen zu lassen, um Traffic zu gewinnen?
Als Traffic-Rechnung nicht. Cloudflare maß im Juli 2025 rund 38.065 gecrawlte Seiten pro Referral bei ClaudeBot, eine Auswertung der Radar-Daten für Januar bis März 2026 kam auf 23.951:1, verglichen mit etwa 5:1 bei Google. Der Bot nimmt sehr viel und schickt sehr wenig zurück. Offen lassen kann man ihn aus anderen Gründen, etwa weil die eigene Fachterminologie in Modellen präsent sein soll, aber dann als strategische Entscheidung und nicht als Traffic-Hoffnung.
Hilft Crawl-Delay gegen die Serverlast durch ClaudeBot?
Begrenzt. Crawl-Delay ist keine standardisierte Direktive, die Einhaltung hängt von der Implementierung des jeweiligen Crawlers ab, und sie adressiert nur Frequenz, nicht Volumen oder Datenabfluss. Wenn Logs eine echte Lastspitze zeigen, wirken .htaccess-Regeln oder Firewall-Limits zuverlässiger. Sinnvoll ist die Kombination: robots.txt dokumentiert die Absicht, die Serverebene setzt sie durch. Vor beidem steht die Messung, denn in vielen mittelgroßen Sites ist der real gemessene ClaudeBot-Anteil deutlich kleiner als die Branchenzahlen suggerieren.
Wie unterscheide ich echten ClaudeBot-Traffic von gefälschtem?
Über den User-Agent allein gar nicht, das ist ein frei wählbares Textfeld. Die Verifizierung läuft über die von Anthropic publizierten IP-Bereiche: User-Agent im Log identifizieren, Quell-IP gegen die offizielle Liste prüfen, alles andere als Fake behandeln. Wer auf Serverebene blockt, ohne vorher zu verifizieren, riskiert, echte Nutzer auszusperren, während der eigentliche Scraper mit einem harmlosen Browser-String weiterläuft. Die Prüfung gehört in dieselbe Routine wie die Googlebot-Verifikation.
Was ändert sich für deutsche Sites durch die DSGVO konkret?
Die Pflicht trifft zuerst den Betreiber, der Inhalte mit Personenbezug veröffentlicht, nicht den Crawler. Praktisch heißt das: Wenn die robots.txt KI-Crawling erlaubt, sollte die Datenschutzerklärung das erwähnen. Urheberrechtlich zählt der maschinenlesbar erklärte Nutzungsvorbehalt beim Text- und Data-Mining, und die robots.txt ist dafür der pragmatischste Ort, weil sie die Datei ist, die Anthropic laut eigener Dokumentation ausliest. Zusätzliche Hinterlegung in den Nutzungsbedingungen macht die Absicht im Streitfall nachweisbar.
Sperren große Publisher inzwischen mehrheitlich?
Nein, aber sie sperren gezielter. Eine Momentaufnahme von 107 prominenten Sites im Juni 2026 zählte 38 Sites (35,5 %) mit expliziter ClaudeBot-Sperre und 48 (44,9 %) mit einer Sperre gegen mindestens einen großen KI-Crawler, während nur 9 Sites (8,4 %) pauschal per Wildcard blockten. Cloudflare berichtete im Januar 2026, dass KI-Crawler zwischen Juli 2025 und Januar 2026 fast siebenmal so oft gesperrt wurden wie Googlebot und Bingbot.
Prüfen Sie Ihr Wissen
Quiz: ClaudeBot
1/3Welcher Anthropic-User-Agent ist für die Aufnahme in Claude-Suchergebnisse relevant?