GPTBot

GPTBot ist nur einer von drei OpenAI-Crawlern

Wer GPTBot in der robots.txt sperrt und die Sache damit für erledigt hält, hat zwei Drittel der Entscheidung übersehen. OpenAI betreibt drei getrennte Crawler mit drei getrennten Zwecken. GPTBot sammelt öffentliche Webinhalte, die in Training und Verbesserung der Modelle einfließen können. OAI-SearchBot versorgt den Index hinter ChatGPT Search. ChatGPT-User holt eine Seite genau dann, wenn ein Nutzer im Chat danach fragt oder einen Link teilt.

Diese Trennung ist der praktisch wichtigste Punkt des ganzen Themas. GPTBot zu blockieren entfernt eine Website nicht aus ChatGPT Search, solange OAI-SearchBot erlaubt bleibt. Umgekehrt gilt: Wer aus Reflex alle drei User-Agents mit einem Disallow abräumt, verzichtet auf Zitierbarkeit in einem Kanal, den er anschließend im Reporting vermisst. Das ist eine strategische Entscheidung mit zwei Hebeln, keine Hygienemaßnahme.

Am User-Agent-String erkennt man die drei Bots im Log zuverlässig genug für eine erste Sortierung: Jeder der drei meldet sich mit einer eigenen Kennung und einer eigenen Doku-URL von OpenAI. Der Mozilla- und AppleWebKit-Vorbau, der in solchen Kennungen üblicherweise davorsteht, ist reines Kompatibilitätserbe, er sagt nichts über einen Browser aus. Verlassen sollte man sich darauf trotzdem nicht: Ein String ist ein Textfeld, jeder Scraper kann sich als GPTBot ausgeben. Für alles, was über Statistik hinausgeht, gleicht man gegen die von OpenAI publizierten IP-Bereiche ab.

Eine Änderung, die viele überlesen haben: PPC Land berichtete am 9. Dezember 2025, dass OpenAI die ausdrückliche robots.txt-Zusage für ChatGPT-User aus der Dokumentation entfernt hat, während die getrennten Kontrollen für GPTBot und OAI-SearchBot bestehen blieben. Nutzergetriggerte Abrufe gehören seitdem in die Firewall- und Log-Policy, nicht in eine Textdatei, deren Einhaltung freiwillig ist.

Volumen, Abdeckung und wie man beides misst

Das Wachstum ist real und gut dokumentiert. Cloudflare maß zwischen Mai 2024 und Mai 2025 ein Plus von 305 % bei GPTBot-Requests, gegenüber 96 % bei Googlebot und 18 % beim gesamten Crawler-Traffic. Der Anteil von GPTBot am verifizierten Crawler-Traffic stieg im gleichen Umfeld von 4,7 % im Juli 2024 auf 11,7 % im Juli 2025.

Diese Zahlen werden regelmäßig falsch gelesen. Requestvolumen ist nicht Abdeckung. In einer Cloudflare-Auswertung der HTML-Requests von Oktober bis November 2025 erreichte Googlebot 11,6 % der einzelnen Webseiten, GPTBot dagegen 3,6 % und PerplexityBot 0,06 % (berichtet vom Search Engine Journal). GPTBot crawlt also intensiv, aber deutlich schmaler als Googlebot. Wer aus dem Wachstumsprozentsatz ableitet, sein Crawl-Budget-Problem heiße jetzt OpenAI, misst die falsche Größe.

Für die Messung heißt das konkret: Server-Logs, nicht Analytics. GPTBot erzeugt keinen Referral, keine Session, keinen Nutzer. In GA4 ist er unsichtbar. Was in Analytics ankommt, sind Klicks aus ChatGPT, und die haben mit GPTBot nichts zu tun, sondern mit OAI-SearchBot und der Zitatlogik der Antwort. Wer beides in einem Dashboard vermischt, produziert Reportings, die niemand interpretieren kann.

Seit dem 3. Juni 2026 liefert Google in der Search Console eigene Berichte zu generativen KI-Funktionen in Suche und Discover, mit Impressionen, angezeigten Seiten, Ländern und Geräten, zunächst für einen Teil der Websites. Das ist eine Sichtbarkeitsebene, keine Klick- oder Zitatattribution, und es betrifft ausschließlich Google. Für OpenAI existiert kein Gegenstück. Die einzige belastbare Datenquelle für GPTBot bleibt das eigene Log.

GPTBot in der robots.txt steuern

Die Syntax ist banal, die Konsequenzen sind es nicht. Jeder Block beginnt mit einem User-agent, danach folgen Disallow und Allow mit Pfadpräfixen. Die drei OpenAI-Crawler brauchen drei eigene Blöcke, denn ein Block für * trifft alle und ist genau die pauschale Entscheidung, die man vermeiden will.

Eine Konfiguration, die Training ausschließt und Suchsichtbarkeit behält, sieht so aus: User-agent: GPTBot mit Disallow: /, darunter User-agent: OAI-SearchBot mit Allow: / und User-agent: ChatGPT-User mit Allow: /. Das ist eine Position, keine allgemeine Empfehlung. Ein Publisher mit Lizenzinteressen entscheidet anders als eine B2B-Website, deren Inhalte in Antworten auftauchen sollen. Selektiver wird es mit Pfaden: Transaktions-, Konto- und Filterseiten kann man für GPTBot sperren und die redaktionellen Verzeichnisse offen lassen, was in der Praxis meist sinnvoller ist als das ganze Dokument zuzumachen.

Die Ahrefs-Lektion aus dem AEO-Kurs führt die robots.txt-Steuerung samt llms.txt visuell durch und eignet sich gut, um die Logik im Team abzugleichen:

Zwei Dinge, die die Datei nicht kann. Sie verhindert nichts, sie bittet. Und sie ist öffentlich: Ein Disallow: /interner-bereich/ ist eine Wegbeschreibung für jeden, der sie lesen will. Die vollständige Systematik für die übrigen KI-Bots steht im Eintrag zur Steuerung von KI-Crawlern über robots.txt, inklusive Google-Extended, ClaudeBot und PerplexityBot, die alle eigene Zeilen brauchen.

Was das für Netlinking und Zitierbarkeit bedeutet

Der kommerzielle Wert liegt 2026 in der Zitierung, nicht im Klick. Chartbeat-Daten, die Axios am 17. März 2026 veröffentlichte, zeigen ChatGPT-Verweise mit einem Plus von über 200 % im Jahresvergleich, aber weiterhin unter 1 % der Seitenaufrufe von Publishern, während Verweise aus der Google-Suche von Dezember 2024 bis Dezember 2025 um 34 % fielen. Wer KI-Sichtbarkeit gegen Sessions rechnet, kommt zwangsläufig zum Ergebnis, das lohne sich nicht. Die richtige Frage ist, ob die Marke in der Antwort steht, wenn jemand die kommerzielle Frage stellt.

Google hat dazu am 15. Mai 2026 in Search Central eine erste Anleitung zu generativen Funktionen veröffentlicht. Kernaussage: Optimierung für generative Suche bleibt SEO. Kein eigenes Ranking-System, kein spezielles KI-Markup, und ausdrücklich keine künstlich erzeugten Erwähnungen zur Beeinflussung von KI-Antworten. Für die Netlinking-Praxis ist das eine Entlastung und eine Warnung zugleich: Redaktionelle Verlinkung, eigene Daten und echte Zitierfähigkeit tragen weiter, gekaufte Nennungsvolumen zur Manipulation einer Antwortmaschine tun es nicht.

Operativ heißt das, dass die Quellen, die ein Modell zitiert, dieselben Eigenschaften haben wie die Quellen, die in klassischen SERPs tragen: crawlbar, thematisch konsistent, extern belegt. Deshalb hängt die Arbeit an der Präsenz einer Marke in generativen Antworten an denselben Hebeln wie eine Autoritätskampagne und nicht an einer Zusatzdatei im Root. Bei Nautilinks laufen beide auf derselben Infrastruktur: französische Redaktionsmedien im Eigenbetrieb, deren Crawl-Policy wir selbst schreiben, was den Unterschied zwischen einem gemieteten Platzhalter und einer Quelle ausmacht, die ein Modell überhaupt lesen darf. Wer die Frequenz solcher Veröffentlichungen über Monate kalibrieren statt in Schüben feuern will, arbeitet an derselben Stelle wie an der Zitierbarkeit. Der zugehörige öffentlich einsehbare Medienkatalog zeigt, welche Titel für welche Themen infrage kommen, ohne Registrierung und ohne versteckte Provision. Wie eine solche Nennung in einer Modellantwort technisch zustande kommt, behandelt der Eintrag zum Zitat in LLM-Antworten.

Häufige Fehler und die rechtliche Grauzone

Der Klassiker aus Audits: ein pauschaler Block für alle KI-Bots, gesetzt vor zwei Jahren von einem Entwickler, den niemand mehr fragt, und seitdem nie überprüft. Die Website taucht in ChatGPT nicht auf, das Marketing bestellt eine GEO-Beratung, die Ursache steht in einer Textdatei mit vier Zeilen. Zweiter Klassiker: GPTBot blockiert, OAI-SearchBot vergessen, und dann aus dem leeren GPTBot-Log geschlossen, man sei unsichtbar. Drittens die Erwartung, robots.txt halte irgendetwas auf. Sie ist ein Protokoll für kooperierende Bots, und für den Rest existiert die Firewall.

Ebenfalls verbreitet ist die Sorge um Duplicate Content durch KI-Crawler. Sie ist unbegründet: Crawling durch GPTBot erzeugt keine indexierte Kopie in der Google-Suche und beeinflusst das Google-Ranking nicht. Crawling und Indexierung sind zwei Vorgänge, und OpenAI betreibt keinen Google-Index. Wer GPTBot in Verdacht hat, Rankings zu drücken, sucht die Ursache an der falschen Stelle, in der Regel in einem Core Update oder in gealtertem Content.

Rechtlich ist die Lage in Deutschland unbequem und nicht abschließend geklärt. Öffentlich zugängliche Inhalte werden ohne vorherige Einwilligung gecrawlt, der Nutzungsvorbehalt über robots.txt ist der praktisch etablierte Weg, ihm zu widersprechen. Wer personenbezogene Daten auf der Website veröffentlicht, etwa Autorenprofile oder Kommentare, sollte den Hinweis auf KI-Crawler in der Datenschutzerklärung sauber formulieren und die Entscheidung dokumentieren. Belastbare Rechtsberatung liefert dieser Eintrag nicht, und wer sie in einem SEO-Glossar sucht, sollte stattdessen mit dem eigenen Justiziar sprechen.

Blockieren, verifizieren, überwachen

Drei Ebenen, in dieser Reihenfolge. Die robots.txt ist die deklarative Ebene und regelt die kooperierenden Crawler, also GPTBot und OAI-SearchBot zuverlässig. Die WAF oder CDN-Regel ist die durchsetzende Ebene und die einzige, die gegen gefälschte User-Agents und gegen nutzergetriggerte Abrufe wirkt. Das Server-Log ist die Kontrollebene und beantwortet als einzige die Frage, ob die ersten beiden tun, was sie sollen.

Eine deutschsprachige Einordnung, was das Blockieren von GPTBot praktisch bedeutet und wo die Abwägung liegt:

Die Verifizierung ist der Schritt, der in fast jedem Setup fehlt. Nach jedem Deployment gehört ein Abruf der robots.txt in die Routine, weil CMS-Plugins, Staging-Kopien und CDN-Caches die Datei überschreiben, ohne dass jemand es merkt. Im Log filtert man anschließend auf die drei Kennungen und prüft, ob die Trefferzahl zur gesetzten Policy passt: GPTBot gesperrt und trotzdem hunderte 200er, das ist entweder ein Cache-Problem oder ein Fälscher. Das folgende Video zeigt die Prüfung in wenigen Minuten:

Als Monitoring reicht ein wöchentlicher Log-Report, der die Requests pro User-Agent, die Statuscodes und die meistgeholten Pfade ausweist. Screaming Frog oder ein Log-File-Analyzer erledigen das für kleinere Sites, bei größeren Setups liefert die CDN-Analytics dieselbe Sicht ohne Rohdatenhandling. Interessant ist weniger die absolute Zahl als die Verschiebung: Wenn GPTBot plötzlich Filter- und Paginierungsseiten abgrast, hat man ein Architekturproblem, das Googlebot genauso trifft, nur bisher nicht auffiel. Der Umgang mit KI-Crawlern deckt in der Praxis überraschend oft schlicht technische Altlasten auf, und das ist der unterschätzte Nebennutzen des ganzen Themas.