- →Der wirtschaftliche Wert des Spiders liegt nicht im Fehler-Report, sondern in der Verifikation: existiert der bezahlte Link noch, ist er dofollow, steht er im Fließtext und zeigt er auf eine indexierbare URL.
- →List Mode plus Custom Extraction ist die einzige skalierbare Methode, mehrere hundert Platzierungen quartalsweise nachzuprüfen, ohne sie einzeln aufzurufen.
- →Seit v23.0 (20. Oktober 2025) prüft das Tool die Google-Dateigrößen gegen 2 MB statt gegen 15 MB, nachdem Google die relevante Grenze klargestellt hatte. Alte Audit-Vorlagen mit 15-MB-Schwelle sind damit hinfällig.
- →v24.0 vom 19. Mai 2026 bringt Model-Context-Protocol-Unterstützung: Crawls, Auswertungen und Exporte lassen sich von einem Assistenten steuern. Das verschiebt den Spider vom Einzelplatz-Werkzeug in Richtung agentengetriebener Routine.
- →Der Crawler ist kein Backlink-Index und kein Rank-Tracker. Sichtbarkeit in generativen Oberflächen misst er gar nicht, dafür braucht es die Search-Console-Berichte, die Google am 3. Juni 2026 dafür eingeführt hat.
- →Die kostenlose Version bei 500 URLs pro Crawl ist für ein ernsthaftes Audit nicht brauchbar. Die Lizenz kostet laut offizieller FAQ 199 £ pro Nutzer und Jahr, in der Währungsanpassung vom Mai 2025 sind es 279 $ beziehungsweise 245 €.
Was der Spider wirklich ist, jenseits der Werkzeugbeschreibung
Screaming Frog SEO Spider läuft lokal auf dem Rechner, folgt den Links einer Website so, wie ein Bot es täte, und schreibt jede gefundene URL mit Statuscode, Canonical, Title, Meta-Description, Überschriften, hreflang-Angaben, ein- und ausgehenden internen Links samt Ankertext in eine Tabelle. Das klingt nach wenig. Der Unterschied zu einer Cloud-Suite liegt genau in dieser Nüchternheit: das Ergebnis ist eine Rohdatenmatrix, kein Score. Es gibt keine Bewertung von 0 bis 100, die eine Interpretation vorwegnimmt, und keinen Anbieter, der entscheidet, welche 200 Zeilen die wichtigen sind.
Für einen Berater, der zehn Jahre lang Audits abgeliefert hat, ist das der eigentliche Grund, warum das Werkzeug bis heute nicht ersetzt wurde. Wer eine Hypothese hat, etwa dass alle Artikel einer Rubrik seit einer Migration auf sich selbst kanonisieren, prüft sie in vier Minuten an echten Daten statt an einer Dashboard-Kachel. Die Lizenz liegt laut der offiziellen FAQ von Screaming Frog bei 199 £ pro Nutzer und Jahr, der Hersteller weist zusätzlich eine Währungsanpassung vom Mai 2025 auf 279 $ beziehungsweise 245 € aus. Die kostenlose Variante bleibt bei 500 URLs pro Crawl gedeckelt, ohne gespeicherte Crawls und ohne die fortgeschrittene Konfiguration. Für einen Blick auf eine Zehn-Seiten-Präsenz reicht das, für jede Site mit redaktionellem Volumen ist es Zeitverschwendung.
Wie ein Crawl 2026 funktioniert: Konfiguration statt Knopfdruck
Der Standardmodus folgt Links ab einer Startadresse. Der interessantere ist der List Mode: man kippt eine Liste von URLs hinein, und der Spider prüft ausschließlich diese. Genau dieser Modus trägt die gesamte Netlinking-Anwendung, dazu gleich mehr. Dazu kommt das JavaScript-Rendering, das per Chromium die tatsächlich gerenderte Seite auswertet, was bei Headless-Frontends der Unterschied zwischen einem leeren und einem vollständigen Dokument ist.
Die Versionen der letzten zwölf Monate haben das Werkzeug spürbar verschoben. Version 23.0 vom 20. Oktober 2025 hat die Google-bezogenen Dateigrößen-Prüfungen umgestellt, nachdem Google klargestellt hatte, dass die relevante Grenze bei 2 MB liegt und nicht bei 15 MB. Seitdem gibt es konfigurierbare Hinweise für HTML-Dokumente und Ressourcen über 2 MB. Wer noch mit einer Audit-Vorlage arbeitet, die 15 MB als Schwelle führt, meldet Kunden seit einem Jahr eine falsche Grenze.
Version 24.0 vom 19. Mai 2026 hat Unterstützung für das Model Context Protocol ergänzt: Crawls, Auswertungen, Exporte und Datenmanipulation lassen sich über Claude, LM Studio und andere Assistenten steuern. Dieselbe Version brachte automatischen Crawl-Vergleich, E-Mail-Benachrichtigungen bei Änderungen mit Anhang, die Erkennung nicht crawlbarer Links, ein Nutzungsstatistik-Dashboard und native ARM64-Unterstützung unter Linux. Der automatische Vergleich ist die unterschätzte Neuerung: eine wöchentliche Differenz zweier Crawls beantwortet die Frage, was sich seit dem letzten Deploy verändert hat, ohne dass jemand danach suchen muss. Ergänzend hat der Log File Analyser in Version 7.0 vom 29. April 2026 die Auswertung von Suchmaschinen- und KI-Bots verbessert, inklusive Bot-Verifikation und Unterscheidung echter von gefälschten Crawlern. Wer wissen will, ob Googlebot die Prioritätsseiten überhaupt abruft, bekommt die Antwort serverseitig und nicht aus einer Vermutung.
Wo der Crawler in einer Netlinking-Operation zählt
Die erste Anwendung liegt vor dem Kauf. Ein Link ist nur so viel wert wie die Zielseite, auf die er zeigt. Bevor Budget auf eine Kategorie- oder Geldseite fließt, gehört sie gecrawlt: Ist sie selbstkanonisch, liefert sie 200 statt einer Weiterleitungskette, trägt sie kein noindex aus einem alten Staging-Zustand, und wie viele interne Links zeigen überhaupt auf sie. Wir sehen regelmäßig Kampagnen, die auf eine URL zeigen, die intern von drei Seiten verlinkt ist, während die Navigation auf eine Variante mit Parameter führt. Das externe Signal landet dann auf einer Seite, die das eigene Haus selbst kaum stützt.
Die zweite Anwendung ist die Verifikation, und sie ist der wirtschaftlich wichtigste Teil. Eine Liste aller Platzierungs-URLs geht in den List Mode, die ausgehenden Links werden exportiert, und ein Filter auf die eigene Domain beantwortet drei Fragen auf einmal: existiert der Link noch, welchen Ankertext trägt er, und ist das rel-Attribut unverändert. Genau hier fällt auf, wenn ein Verkäufer sechs Monate nach Lieferung auf nofollow umgestellt oder den Artikel in ein Archiv ohne interne Verlinkung geschoben hat. Custom Extraction über einen XPath auf den Artikelkörper trennt zusätzlich den Link im Fließtext vom Link in Sidebar oder Footer. Bei den Medien, die wir bei Nautilinks im Eigenbetrieb führen, läuft diese Prüfung als Routine über den gesamten Bestand, weil ein Kunde nicht darauf angewiesen sein soll, uns zu glauben. Wer eine Kampagne extern einkauft, sollte denselben Takt fahren und jedes Medium einzeln prüfen, bevor es in den Warenkorb wandert, statt sich auf eine Kennzahl im Katalog zu verlassen.
Die dritte Anwendung ist die interne Verteilung. Der Bericht zu ein- und ausgehenden internen Links plus der Crawl-Tiefe zeigt, wo eingekaufte Autorität hängen bleibt. Eine Seite auf Tiefe sechs, die von zwei paginierten Übersichten erreicht wird, verteilt das ankommende Signal nicht weiter. Die interne Verlinkung zu reparieren kostet nichts und wirkt oft stärker als die nächsten fünf gekauften Links, was bei den Beträgen, die derzeit für eine gute Platzierung aufgerufen werden, ein ernstzunehmendes Argument ist. Eine Erhebung unter 518 SEO-Fachleuten aus dem Jahr 2025 nennt einen durchschnittlich akzeptierten Preis von 508,95 $ für einen hochwertigen Backlink, eine BuzzStream-Auswertung über mehr als 26.000 Gastbeitrags-Seiten kommt auf 364,76 $ im Direktgeschäft und 1.459,06 $ bei Vermittlung. Wer diese Differenz sieht, versteht, warum wir unsere Preise offen ausweisen statt sie hinter einer Anfrage zu verstecken.
Grenzen: was der Crawler prinzipiell nicht sieht
Screaming Frog ist kein Backlink-Index. Er kennt nur die Seiten, die man ihm gibt oder die er über Links erreicht. Wer wissen will, welche fremden Domains auf eine Site zeigen, braucht einen echten Linkindex oder Semrush. Er ist auch kein Rank-Tracker und keine Outreach-Plattform, und er hat keine Meinung darüber, ob ein Medium redaktionell taugt. Diese Einschätzung bleibt Handarbeit, und sie entsteht durch Lesen der veröffentlichten Artikel, nicht durch das Zählen von Kategorien.
Die härtere Blindstelle betrifft 2026 die generativen Oberflächen. Ein Crawl sagt nichts darüber aus, ob eine Seite in AI Overviews oder im KI-Modus zitiert wird. Dass diese Frage kommerziell relevant geworden ist, zeigt die Aktualisierung der Ahrefs-Studie aus Februar/Mai 2026: 300.000 Keywords, davon 150.000 mit und 150.000 ohne AI Overview, verglichen zwischen Dezember 2023 und Dezember 2025, ergab eine um 58 % niedrigere Klickrate für das erstplatzierte organische Ergebnis, gegenüber 34,5 % in der Ahrefs-Untersuchung vom April 2025. Für die AI-Overview-Stichprobe fiel die Klickrate auf Position eins von 0,073 % im Dezember 2023 auf 0,016 % im Dezember 2025. Eine separate Auswertung von Seer Interactive über 25,1 Millionen organische Impressionen in 42 Organisationen meldet einen Rückgang um 61 %, von 1,76 % auf 0,61 %, bei abweichender Methodik und deshalb nicht direkt vergleichbar. Messen lässt sich das nur mit den Berichten zu generativen Funktionen, die Google am 3. Juni 2026 in der Search Console eingeführt hat. Der Crawl liefert die Struktur, die Search Console die Nachfrage, das Logfile die Bot-Realität. Drei Quellen, kein Ersatz füreinander.
Was wir in Audits regelmäßig schieflaufen sehen
Der häufigste Fehler ist der Standard-Crawl als Ergebnis. Jemand startet den Spider auf der Startseite, exportiert alle Registerkarten und liefert 900 Zeilen Befund ab, in denen fehlende Meta-Descriptions von Paginierungsseiten denselben Rang haben wie eine Weiterleitungskette auf der Hauptkategorie. Ein Bericht ohne Priorisierung ist kein Audit, sondern eine Datenlieferung.
Der zweite Fehler ist der Crawl ohne Rendering auf einer Site, deren Inhalte clientseitig aufgebaut werden. Das Ergebnis sieht nach einer Katastrophe aus, hat aber nur die Konfiguration abgebildet. Umgekehrt ebenso verbreitet: Rendering pauschal aktiviert, was den Crawl um ein Vielfaches verlangsamt und bei großen Beständen mit dem Arbeitsspeicher kollidiert, wenn nicht auf Datenbankspeicherung umgestellt wurde.
Der dritte Fehler ist eine Frage der Reihenfolge. Viele prüfen die Zielseite erst, nachdem der Link steht. Bei einem Betrag im dreistelligen Bereich pro Platzierung ist es billiger, vorher zwei Minuten zu crawlen. Und der vierte, den wir bei internen Teams sehen: der Crawl wird einmal im Quartal gefahren, als Ritual. Der automatische Vergleich aus Version 24.0 macht daraus eine wöchentliche Differenz, die tatsächlich Regressionen fängt, statt Zustände zu dokumentieren, die seit Wochen bestehen.
Taktische Konsequenzen für die Arbeit 2026
Technisches SEO und Linkerwerb rücken zusammen, und zwar über die Frage der Auffindbarkeit, nicht über Rankings. Eine verdiente Erwähnung auf einer Seite, die niemand crawlt, ist ein Eintrag in einer Tabelle. Die Prüfkette vor jeder Kampagne besteht aus vier Punkten: Zielseite indexierbar und selbstkanonisch, keine Weiterleitungskette, intern mindestens aus der Navigation erreichbar, und nach Lieferung eine Verifikation im List Mode.
Die zweite Konsequenz betrifft die Auswahl der Medien. Googles Taktung bei Spam-Updates hat sich verkürzt, das Update vom 24. bis 25. März 2026 war in rund einem Tag ausgerollt, das vom 24. bis 26. Juni 2026 laut offiziellem Statusprotokoll in 49 Stunden, gegenüber 27 Tagen beim Spam-Update im August 2025. Wer in diesem Rhythmus arbeitet, sollte Platzierungen nach Kontext und redaktioneller Substanz auswählen und nicht nach Volumen. Ein Crawl eines Kandidatenmediums beantwortet dabei mehr, als die meisten vermuten: wie viele Artikel es tatsächlich trägt, wie viele davon auf externe Ziele verlinken, und ob die Ausgangslinks pro Seite in einem Verhältnis stehen, das nach Redaktion aussieht. Wer diese Prüfung nicht selbst fahren will, sollte zumindest verlangen, dass die Liste der Medien offen einsehbar ist, statt hinter einem Login zu liegen. Ein Anbieter, der seine Titel nicht zeigt, hat dafür selten einen guten Grund.
Nautilinks betreibt ein eigenes Netzwerk redaktioneller Medien. In-House verfasste Artikel, Transparenzhinweise beachtet, Ankertext-Mix kalibriert.
Häufige Fragen
Reicht die kostenlose Version für ein Audit einer mittelgroßen Site?
Nein. Die Grenze von 500 URLs pro Crawl ist bei einer redaktionellen Site nach der ersten Kategorie erreicht, und ohne Lizenz fehlen gespeicherte Crawls sowie die fortgeschrittene Konfiguration, also Custom Extraction, API-Anbindung und Datenbankspeicher. Für eine Zehn-Seiten-Präsenz oder einen schnellen Blick auf eine fremde Startseite genügt sie. Für alles, was in Rechnung gestellt wird, ist die Lizenz mit 199 £ pro Nutzer und Jahr laut offizieller FAQ die günstigste Position im Werkzeugbudget.
Wie prüfe ich mehrere hundert gekaufte Platzierungen, ohne jede aufzurufen?
List Mode mit allen Platzierungs-URLs, dann den Export der ausgehenden Links ziehen und auf die eigene Domain filtern. Der Export enthält Ziel-URL, Ankertext und rel-Attribut, damit fallen entfernte Links, stillschweigend gesetzte nofollow-Attribute und geänderte Anker in einem Durchgang auf. Mit einer Custom Extraction per XPath auf den Artikelkörper lässt sich zusätzlich unterscheiden, ob der Link im Fließtext oder in einem Randbereich steht. Quartalsweise als Routine, nicht als Reaktion auf einen Verdacht.
Was hat sich mit der MCP-Unterstützung in Version 24.0 praktisch geändert?
Seit dem 19. Mai 2026 lassen sich Crawls, Auswertungen, Exporte und Datenmanipulation über das Model Context Protocol von einem Assistenten aus steuern, etwa Claude oder LM Studio. Der Nutzen liegt nicht in der Bequemlichkeit, sondern darin, dass wiederkehrende Prüfungen als Routine formuliert werden können statt als Klickfolge. Zusammen mit dem automatischen Crawl-Vergleich und den Änderungsbenachrichtigungen aus derselben Version wird aus dem Einzelplatz-Werkzeug eine Überwachung, die von selbst meldet.
Kann Screaming Frog messen, ob eine Seite in AI Overviews auftaucht?
Nein, und kein Crawler kann das. Der Spider liefert die technische Voraussetzung, also gerenderte Inhalte, strukturierte Daten, interne Verlinkung und Extraktionen. Die Sichtbarkeit selbst steht in den Berichten zu generativen Funktionen, die Google am 3. Juni 2026 in der Search Console eingeführt hat und die Impressionen aus AI Overviews, KI-Modus und generativen Discover-Funktionen getrennt ausweisen. Der Log File Analyser 7.0 ergänzt seit dem 29. April 2026 die serverseitige Sicht, inklusive Verifikation echter gegenüber gefälschter Bots.
Wie oft sollte ein Crawl auf einer aktiven Site laufen?
Wöchentlich als Differenz, nicht quartalsweise als Zustandsbericht. Der automatische Crawl-Vergleich aus Version 24.0 mit E-Mail-Benachrichtigung bei Änderungen erledigt das ohne Aufwand und fängt genau die Regressionen, die sonst wochenlang unbemerkt bleiben: eine Rubrik, die nach einem Deploy auf noindex steht, eine Weiterleitung, die zur Kette geworden ist, ein Template, das interne Links verloren hat. Ein vollständiges manuelles Audit mit Priorisierung bleibt daneben ein Termin pro Quartal.
Lohnt der Spider auch für die Bewertung fremder Medien vor einem Kauf?
Ja, in engem Rahmen. Ein Crawl eines Kandidatenmediums zeigt die reale Zahl der Artikel statt der beworbenen, die Verteilung der ausgehenden Links pro Seite und ob Beiträge intern überhaupt erreichbar bleiben oder nach der Startseiten-Rotation in einem toten Archiv landen. Was er nicht ersetzt: das Lesen von fünf zufälligen Artikeln. Redaktionelle Substanz ist keine Kennzahl, und keine Crawl-Spalte unterscheidet einen brauchbaren Text von einer Füllseite.
Prüfen Sie Ihr Wissen
Quiz: Screaming Frog
1/3Was änderte Version 23.0 vom Oktober 2025 an den Google-bezogenen Dateigrößen-Prüfungen?