- →Crawling ist kein Rankingfaktor: mehr Crawl-Rate bringt keine besseren Positionen, sondern nur kürzere Latenz zwischen Publikation und Indexierung.
- →Die Größenordnung entscheidet: relevant wird das Thema erst bei sehr großen Beständen mit hoher Änderungsfrequenz. Bei kleinen Websites ist «Crawl Budget» meist ein Alibi für ein Qualitätsproblem.
- →Die Kapazität steuerst du serverseitig, die Nachfrage inhaltlich und über Links. ETag, Last-Modified und saubere HTTP-Caching-Header sparen Fetches, ohne dass eine einzige URL verschwindet.
- →Der Status «Gecrawlt, zurzeit nicht indexiert» ist fast nie ein Budgetproblem, sondern ein Duplikats- oder Qualitätssignal. Mehr Crawling repariert das nicht.
- →KI-Crawler sind seit 2025 ein realer Kostenfaktor: Cloudflare maß für GPTBot ein Anfragenwachstum von 305 Prozent bei nur 18 Prozent Gesamtwachstum des Crawler-Traffics. Logfiles müssen Googlebot, KI-Suche und Trainings-Bots getrennt ausweisen.
- →robots.txt spart Crawl-Rate, entfernt aber nichts aus dem Index. Wer eine URL loswerden will, braucht noindex auf einer crawlbaren Seite, nicht ein Disallow.
Was Crawl Budget wirklich ist (und was nicht)
Crawl Budget ist keine Kennzahl, die Google ausweist, und kein Kontingent, das sich beantragen lässt. Es ist das Resultat zweier Größen, die Googlebot laufend gegeneinander abwägt: wie viel Last dein Server verträgt, und wie viel Interesse Google an deinen URLs hat. Wer es als Guthaben liest, das man auflädt oder spart, optimiert an der falschen Stelle und wundert sich später, warum nichts passiert.
Der wichtigste Satz für die Praxis steht in der Dokumentation von Google Search Central und wird trotzdem selten zitiert: Crawling ist kein Rankingfaktor. Eine Seite rankt nicht besser, weil Googlebot sie öfter abholt. Das Crawl Budget entscheidet über etwas anderes, nämlich über Latenz. Wie schnell kommt eine neue URL in den Index, wie schnell wird eine Aktualisierung dort sichtbar, wie lange bleibt eine gelöschte Seite in der Suche stehen. Auf einem Shop mit 400.000 Varianten-URLs ist das ein Geschäftsproblem. Auf einem Blog mit 300 Beiträgen ist die Beschäftigung damit vergeudete Beratungszeit.
Ebenso wichtig ist die Trennung von Crawl Budget und Index Budget. Gecrawlt heißt nicht indexiert. In der Google Search Console taucht der Unterschied als «Gecrawlt, zurzeit nicht indexiert» auf, und dieser Status ist fast nie ein Kapazitätsproblem. Er bedeutet, dass Google die Seite gesehen und sich gegen sie entschieden hat, meist wegen Dünnheit, Duplizierung oder fehlender Nachfrage. Wer darauf mit einer XML-Sitemap-Offensive oder mehr Crawl-Rate reagiert, behandelt ein Symptom im falschen Stockwerk. Aus eigener Audit-Erfahrung: die große Mehrheit der Websites, die mit einem vermuteten Crawl-Budget-Problem kommen, hat in Wahrheit ein Architektur- oder Qualitätsproblem und kein Kapazitätsproblem.
Kapazitätslimit und Crawl-Demand: die Mechanik dahinter
Das Crawl Capacity Limit ist eine Reaktion auf deinen Server, keine Einstellung im Backend. Googlebot erhöht die parallelen Verbindungen, solange die Antwortzeiten stabil bleiben, und drosselt, sobald der Server langsamer wird, Timeouts liefert oder 5xx-Fehler häuft. Serverfehler wirken dabei überproportional: verstreute 503er über mehrere Tage kosten mehr Crawl-Rate als ein kurzer, klar begrenzter Ausfall, weil Google die Instabilität als Dauerzustand liest. Time to first byte ist hier die operative Kennzahl, nicht der Lighthouse-Score.
Google hat seine Crawling-Dokumentation am 20. November 2025 genau um diese serverseitigen Hebel erweitert, wie PPC Land berichtete: HTTP-Caching, ETag und Last-Modified, HTTP/1.1 gegenüber HTTP/2, Komprimierung, Crawl-Rate-Management und Crawler-Verifizierung. Der wirksamste und am seltensten umgesetzte Punkt davon ist bedingtes Crawling. Wer korrekte ETag- und Last-Modified-Header ausliefert, bekommt von Googlebot ein If-None-Match und kann mit 304 antworten. Der Fetch kostet dann fast nichts, die URL bleibt vollständig crawlbar. Das ist das Gegenteil der üblichen robots.txt-Radikalkur, bei der man Sichtbarkeit gegen Rechenzeit tauscht.
Ein Detail, das 2026 stillschweigend Websites lahmgelegt hat: Google hat am 31. März 2026 die JSON-Dateien mit den IP-Bereichen seiner Crawler von /search/apis/ipranges/ nach /crawling/ipranges/ verschoben, weil die Bereiche über Search hinaus gelten (Google Search Central Blog, März 2026). Wer Googlebot per WAF-Allowlist oder eigenem Skript verifiziert und den alten Endpunkt hart verdrahtet hat, blockt seinen eigenen Crawler, ohne dass ein Report anschlägt.
Die zweite Größe, der Crawl-Demand, hängt an drei Dingen: der wahrgenommenen Popularität einer URL, ihrer tatsächlichen Änderungsrate und dem Umfang des bekannten URL-Inventars. Popularität kommt über interne und externe Verlinkung, Änderungsrate über echte Substanz und nicht über ein aktualisiertes Datum im Template. Ein Seitenbereich, der sich nie ändert, aber im Sitemap-lastmod täglich behauptet, er habe sich geändert, verliert diese Glaubwürdigkeit dauerhaft.
Ab wann das Crawl Budget zählt: die Größenordnungen
Die Frage nach dem Limit hat keine Antwort in URLs pro Tag, weil es keine feste Zahl gibt. Sie hat aber eine Antwort in Größenordnungen: relevant wird Crawl-Budget-Management erst bei großen Beständen, deren Inhalte sich häufig ändern. Kleine Websites werden in aller Regel effizient gecrawlt, ohne dass irgendjemand etwas tun muss.
Die Größenordnung allein ist kein Freibrief. Entscheidend ist nicht die Zahl der gewollten Seiten, sondern die Zahl der erreichbaren URLs. Eine Website mit 800 Artikeln, aber Filternavigation, Sortierparametern, Session-IDs und einer Suchergebnisseite, die intern verlinkt ist, kann Googlebot mühelos ein sechsstelliges URL-Inventar anbieten. Genau dort entsteht ein echtes Kapazitätsproblem auf einer Website, die auf dem Papier klein ist. Der Test dafür dauert zehn Minuten: Crawl-Statistiken in der Search Console öffnen, die Anfragen nach Antworttyp und Zweck aufschlüsseln und prüfen, wie hoch der Anteil an Fetches ist, die auf URLs entfallen, die in keiner Sitemap stehen und in keinem Ranking auftauchen.
Die zweite Prüfung ist zeitlicher Natur. Miss die Spanne zwischen Veröffentlichung und erstem Fetch für zwanzig neue URLs. Liegt der Median bei Stunden, hast du kein Crawl-Budget-Thema, egal wie groß die Website ist. Liegt er bei Wochen und der Server antwortet schnell, ist es kein Kapazitäts-, sondern ein Nachfrageproblem, und das löst man nicht im Server, sondern über Architektur und Verlinkung.
Crawl Budget im Netlinking: Links erzeugen Nachfrage
Der Teil, den technische Crawl-Budget-Artikel systematisch auslassen: Crawl-Demand ist zu einem erheblichen Teil eine Funktion des Linkgraphen. Eine URL, auf die intern drei Klicks tief ein einziger Link zeigt, wird selten abgeholt. Eine URL, die extern von mehreren regelmäßig gecrawlten Domains verlinkt wird, wird schnell und danach wiederkehrend abgeholt, weil Google sie über mehrere Pfade erreicht und ihr eine höhere Bedeutung zuschreibt. Deshalb ist eine saubere interne Verlinkungsstruktur der billigste Crawl-Hebel überhaupt: sie kostet keine Serverkapazität und verteilt Aufmerksamkeit dorthin, wo sie Umsatz bringt.
Für die Praxis heißt das, dass Indexierungsprobleme auf neuen Bereichen häufig ein Linkproblem sind. Wer eine neue Kategorie mit 200 URLs startet und sie nur über die Sitemap anmeldet, wartet lange. Wer denselben Bereich mit ein paar redaktionellen Einstiegen aus laufend gecrawlten Quellen versorgt, verkürzt die Latenz drastisch. Eine Umfrage von Editorial.Link unter 518 SEO-Fachleuten aus 2025 sieht Digital PR mit 48,6 Prozent als wirksamste Linkbuilding-Taktik, und der Nebeneffekt ist genau dieser: redaktionelle Links schaffen Entdeckungspfade, nicht nur Autorität.
Bei Nautilinks sehen wir denselben Mechanismus von der anderen Seite. Auf den französischen Redaktionsmedien, die wir im Eigenbetrieb führen, wird ein neuer Beitrag typischerweise binnen Stunden gecrawlt, weil die Startseite und die Rubriken selbst hohe Crawl-Nachfrage haben. Ein Link aus einem solchen Beitrag wirkt deshalb doppelt: als Signal und als Entdeckungspfad zur Zielseite. Wer prüfen will, welche Medien tatsächlich lebendig sind, findet im öffentlich einsehbaren Medienkatalog die Kennzahlen ohne Anmeldung, und die Preise sind ohne versteckte Provision ausgewiesen. Für die Crawl-Diagnose ist die relevante Frage bei jedem gekauften Link ohnehin nicht der Domain Rating, sondern ob die verlinkende Seite selbst regelmäßig abgeholt wird.
Logfiles, GSC und KI-Crawler: die Messebene
Die Google Search Console ist der Einstieg, nicht das Ziel. Der Crawl-Statistik-Bericht zeigt Anfragen pro Tag, durchschnittliche Antwortzeit, Aufschlüsselung nach Antwortcode, Dateityp, Zweck (Auffindung gegenüber Aktualisierung) und Googlebot-Typ. Das reicht, um Trendbrüche und Serverprobleme zu erkennen, aber nicht, um zu sagen, welche URL-Muster das Budget auffressen, weil die Daten aggregiert sind und nur ein begrenztes Zeitfenster abdecken.
Dieses offizielle Video zeigt dir direkt, wie du den Crawl Stats Report in der Google Search Console nutzt, die Basis jeder Crawl-Budget-Analyse.
Die belastbare Ebene sind Serverlogs. Dort steht, welche URL wann von welchem verifizierten Bot mit welchem Statuscode abgerufen wurde, und erst daraus lassen sich die drei Zahlen bilden, die zählen: Anteil der Googlebot-Fetches auf indexierbaren Zielseiten, Anteil auf Parameter- und Fehler-URLs, und die Menge der Seiten, die im Crawl vorkommen, aber in keinem Log auftauchen. Der Einstieg ist billig: der Screaming Frog Log File Analyser ist in der Gratisversion auf 1.000 Logzeilen und ein Projekt begrenzt, die Lizenz kostet laut Herstellerseite 99 Pfund pro Nutzer und Jahr. Für Websites unter einer Million URLs braucht es dafür keine Enterprise-Plattform.
Neu in der Rechnung sind die KI-Crawler, und sie sind kein Randthema mehr. Der 2025 Web Almanac (veröffentlicht am 15. Januar 2026, Datenbasis HTTP Archive) fand GPTBot-Direktiven in 4,5 Prozent der Desktop-robots.txt-Dateien gegenüber 2,9 Prozent im Vorjahr, ClaudeBot in 3,6 Prozent gegenüber 1,9 Prozent, bei den Top-1.000-Websites taucht GPTBot in 20,9 Prozent der Dateien auf. Cloudflare maß zwischen Mai 2024 und Mai 2025 ein Gesamtwachstum des Crawler-Traffics von 18 Prozent, während GPTBot-Anfragen um 305 Prozent und Googlebot-Traffic um 96 Prozent zulegten. Dieselbe Auswertung nennt für Juni 2025 ein Verhältnis von etwa 14 Crawls pro Referral bei Google gegenüber 1.700 zu 1 bei OpenAI und 73.000 zu 1 bei Anthropic. Wer pauschal alles zulässt, zahlt Serverlast ohne Gegenwert, wer pauschal alles sperrt, verliert Sichtbarkeit in KI-Suchen. Die Entscheidung gehört differenziert getroffen, Bot für Bot, und die Steuerung über die robots.txt muss KI-Suche und Modelltraining sauber trennen. Ein Werkzeug dafür ist llms.txt ausdrücklich nicht: Google hat am 15. Juni 2026 klargestellt, dass die Datei von Google Search nicht verwendet wird und weder positive noch negative Wirkung auf Sichtbarkeit oder Rankings hat.
Typische Fehler, die wir in Audits sehen
Der häufigste Fehler ist die Verwechslung von Crawl-Sperre und Index-Entfernung. Ein Disallow in der robots.txt verhindert den Abruf, nicht die Indexierung: Google kann eine gesperrte URL weiterhin über externe Links kennen und ohne Snippet listen. Schlimmer noch, ein noindex auf einer per robots.txt gesperrten Seite wird nie gelesen, weil Googlebot die Seite gar nicht erst abruft. Die richtige Reihenfolge ist immer: crawlbar lassen, noindex ausliefern, warten bis die URL aus dem Index fällt, erst danach optional sperren.
Zweiter Klassiker sind widersprüchliche Signale bei Duplikaten. Ein Canonical-Tag ist ein Hinweis, keine Anweisung, und Google ignoriert ihn regelmäßig, wenn interne Verlinkung, Sitemap und hreflang auf eine andere URL zeigen. Wer Filterseiten kanonisiert, sie aber weiterhin intern verlinkt und in die XML-Sitemap aufnimmt, bekommt beides: den Crawl-Aufwand der Duplikate und die Unsicherheit im Index. Bei Facettennavigation ist die Parameterbehandlung auf URL-Ebene fast immer die bessere Antwort als ein nachgelagerter Canonical.
Dritter Punkt sind stille Verluste durch Weiterleitungsketten und Soft 404. Jede zusätzliche Station einer Kette ist ein zusätzlicher Fetch, und bei einer Migration mit mehreren zehntausend URLs summiert sich das zu einem messbaren Anteil der Tagesanfragen. Soft 404 sind teurer, weil Google die Seiten weiter regelmäßig prüft, obwohl nichts dahintersteht. Beides steht in den Logs, nicht im Gefühl.
Ein deutschsprachiger Praxisguide mit konkreten Tipps zur Optimierung des Crawl Budgets, ideal für Leser, die tiefer in die Umsetzung einsteigen möchten.
Und schließlich der teuerste Fehler, weil er Monate kostet: Crawl Budget als Erklärung für schlechte Rankings. Wenn eine Website 4.000 URLs hat, der Server in 200 Millisekunden antwortet und trotzdem die Hälfte des Inhalts nicht indexiert ist, dann ist die Diagnose nicht Kapazität, sondern Relevanz. Die acht dokumentierten Ranking-Updates zwischen März 2025 und Juni 2026 im Google Search Status Dashboard sind in solchen Fällen die naheliegendere Korrelation, und keine robots.txt-Zeile korrigiert ein Qualitätsurteil.
Nautilinks betreibt ein eigenes Netzwerk redaktioneller Medien. In-House verfasste Artikel, Transparenzhinweise beachtet, Ankertext-Mix kalibriert.
Häufige Fragen
Gibt es eine konkrete Zahl für das Crawl-Budget-Limit meiner Website?
Nein, es gibt keinen festen Wert in URLs pro Tag, weil das Limit dynamisch aus Serverantwortzeiten und Crawl-Demand entsteht. Relevant wird das Thema überhaupt erst bei großen Beständen mit hoher Änderungsfrequenz. Deine tatsächliche Rate liest du im Crawl-Statistik-Bericht der Search Console ab, als Anfragen pro Tag über das dort verfügbare Zeitfenster.
Bringt eine Erhöhung der Crawl-Rate bessere Rankings?
Nein. Crawling ist kein Rankingfaktor, das steht so in der Google-Dokumentation. Häufigeres Abholen verkürzt nur die Zeit bis zur Indexierung einer neuen oder geänderten URL. Wenn eine Seite nicht rankt, obwohl sie indexiert ist, liegt das an Relevanz, Wettbewerb oder Autorität, nicht an der Crawl-Frequenz. Der einzige Fall, in dem sich Crawl-Optimierung geschäftlich lohnt, sind große, häufig wechselnde Bestände, etwa Preise, Verfügbarkeiten oder Stellenanzeigen.
Sollte ich KI-Crawler per robots.txt aussperren, um Crawl Budget zu sparen?
Nicht pauschal. KI-Crawler laufen getrennt vom Googlebot-Budget, belasten aber denselben Server. Cloudflare maß von Mai 2024 bis Mai 2025 ein Wachstum der GPTBot-Anfragen um 305 Prozent bei nur 18 Prozent Gesamtwachstum des Crawler-Traffics, und für Juni 2025 ein Verhältnis von 1.700 Crawls pro Referral bei OpenAI. Sinnvoll ist eine differenzierte Regel: Bots für KI-Suche und Zitation zulassen, reine Trainings-Crawler nach eigener Abwägung sperren, und die Entscheidung in den Logs nachmessen.
Wie unterscheide ich in den Logs ein Kapazitäts- von einem Nachfrageproblem?
Über zwei Zahlen. Erstens die durchschnittliche Antwortzeit im Verhältnis zur Anfragenkurve: sinkt die Crawl-Rate, während die Antwortzeit steigt, ist es Kapazität. Zweitens die Verteilung der Fetches: gehen die meisten Anfragen auf Parameter-, Fehler- oder Filter-URLs, verbrennst du Kapazität an Müll. Bleibt die Rate niedrig, obwohl der Server schnell antwortet und die URLs sauber sind, ist es Nachfrage, und die repariert man über interne Verlinkung und externe Entdeckungspfade.
Hilft eine XML-Sitemap gegen Crawl-Budget-Probleme?
Sie hilft bei der Auffindung, nicht bei der Kapazität. Eine Sitemap sagt Google, welche URLs du für wichtig hältst, sie erhöht aber weder das Kapazitätslimit noch die Nachfrage. Wirksam ist sie vor allem durch das, was du weglässt: nur indexierbare Endziel-URLs mit ehrlichem lastmod. Wer weitergeleitete, kanonisierte oder gesperrte URLs einträgt, verliert Glaubwürdigkeit und Google gewichtet die Datei danach schwächer.
Welche serverseitige Maßnahme bringt am schnellsten Wirkung?
Bedingtes Crawling über ETag und Last-Modified. Antwortet dein Server auf ein If-None-Match mit 304, kostet der Fetch fast keine Ressourcen und die URL bleibt vollständig crawlbar. Google hat seine Crawling-Dokumentation am 20. November 2025 genau um diese Punkte erweitert, inklusive HTTP-Caching, Komprimierung und HTTP/2. Das ist der einzige Hebel, der Kapazität freisetzt, ohne dass du irgendwo Sichtbarkeit opferst.
Prüfen Sie Ihr Wissen
Quiz: Crawl Budget
1/3Ab welcher Größenordnung nennt Google Search Central das Crawl-Budget-Management überhaupt relevant?