- →Screaming Frog est un crawler de site, pas un index de backlinks : il mesure ce qui sort d’un domaine et ce qui circule dedans, jamais ce qui pointe vers lui.
- →La version 24.0 du 19 mai 2026 a ajouté le support du Model Context Protocol, ce qui déplace l’outil vers des audits pilotés par un assistant plutôt que par un opérateur devant l’interface.
- →Le Log File Analyser 7.0 du 29 avril 2026 vérifie l’identité des bots et distingue les vrais crawlers des usurpateurs : c’est le seul moyen fiable de savoir si un bot IA lit réellement vos pages.
- →Un crawl ne mesure pas l’inclusion dans une réponse générative. Depuis le 3 juin 2026, ce signal se lit dans les rapports dédiés de la Search Console, pas dans le Spider.
- →La licence à 199 £ par utilisateur et par an lève le plafond de 500 URL de la version gratuite : c’est le seuil à partir duquel l’outil devient utilisable sur un vrai site.
- →Sur un audit de lien acheté, la question que le Spider tranche en trente secondes est la seule qui compte : la page qui porte le lien est-elle crawlable, indexable, et reliée au reste du site.
Ce que le Spider mesure, et ce qu’il ne mesurera jamais
Screaming Frog SEO Spider parcourt un site comme un robot d’exploration : il part d’une URL, suit les liens qu’il trouve dans le HTML, enregistre le code de réponse, les en-têtes, le title, les balises Hn, le canonical, les directives d’indexation, les données structurées, le poids des ressources, et il recommence. Le livrable n’est pas un score, c’est une table. Cette différence explique pourquoi l’outil survit alors que les plateformes tout-en-un se succèdent : il ne donne pas d’avis, il donne un état des lieux reproductible.
La confusion la plus tenace chez les acheteurs de liens consiste à croire que le Spider voit le profil de backlinks d’un domaine. Il ne le voit pas, et il ne le verra jamais : un crawler part de votre site et sort vers l’extérieur, un index de liens fait l’inverse et nécessite une infrastructure de crawl planétaire. Pour ce qui entre, il faut un index de liens comme Majestic, Ahrefs ou Semrush. Pour ce qui circule à l’intérieur d’un domaine et pour ce qui en sort, le Spider est plus précis qu’eux tous, parce qu’il lit la page réelle au moment où vous la crawlez, pas une copie datant de trois semaines.
Deuxième frontière, plus récente et plus mal comprise : un crawl ne mesure rien de la visibilité générative. Savoir si une page est reprise dans une réponse d’IA ne se déduit d’aucune donnée présente dans le HTML. Google a ajouté le 3 juin 2026 des rapports de performance dédiés aux fonctionnalités génératives dans la Search Console, séparant les impressions issues des AI Overviews et de l’AI Mode du reste du rapport global. C’est là que se lit ce signal, dans la console de Google, pas dans un onglet du Spider. L’enjeu n’est pas cosmétique : la mise à jour d’étude Ahrefs de février puis mai 2026, portant sur 300 000 mots-clés dont la moitié déclenchant un AI Overview, mesure un taux de clic du premier résultat organique inférieur de 58 % en présence d’un AI Overview, contre 34,5 % dans leur étude d’avril 2025. Auditer la technique sans regarder ce déplacement revient à optimiser un tuyau dont le débit d’entrée a changé.
La mécanique 2026 : MCP, logs, seuil des 2 Mo
La version 24.0, sortie le 19 mai 2026, a introduit le support du Model Context Protocol : les crawls, les analyses, les exports et la manipulation des données deviennent pilotables depuis Claude, LM Studio ou un autre assistant. C’est le changement le plus structurant depuis longtemps, et il ne s’agit pas d’un gadget marketing. Un audit technique consiste en grande partie à croiser des colonnes, filtrer, recouper avec un autre export, formuler une hypothèse, re-filtrer. Ce travail se délègue mal à une macro et très bien à un agent qui interroge le crawl en langage naturel. Notre lecture est que la valeur du Spider migre progressivement de son interface vers sa base de données.
La même version a ajouté la comparaison automatique de crawls, les notifications par email en cas de changement avec les exports en pièce jointe, et la détection des liens non crawlables. Ce dernier point mérite qu’on s’y arrête : un lien qui existe visuellement mais que le robot ne peut pas suivre est un lien qui ne transmet rien. Sur un site rendu en JavaScript, la question n’est jamais théorique.
La version 23.0 d’octobre 2025 avait déjà corrigé un point que beaucoup d’audits traînaient encore : Google a clarifié que la limite de taille pertinente était de 2 Mo et non de 15 Mo, et l’outil a introduit des alertes configurables pour les documents HTML et les ressources dépassant ce seuil. Si votre modèle d’audit hérité affiche encore 15 Mo, il ment depuis un an.
L’autre brique, souvent négligée parce qu’elle se vend à part, est le Log File Analyser. Sa version 7.0 du 29 avril 2026 améliore l’analyse du crawl des moteurs et des bots IA, avec vérification d’identité permettant de distinguer un vrai crawler d’un usurpateur. C’est la seule source qui répond factuellement à la question « ce bot lit-il vraiment mes pages prioritaires », par opposition à l’estimation indirecte que fournit un crawl. Sur un sujet comme la répartition du budget d’exploration, les logs tranchent, le Spider suggère.
Côté budget, la FAQ officielle de Screaming Frog situe la licence du SEO Spider à 199 £ par utilisateur et par an, avec un ajustement de devise enregistré en mai 2025 à 279 $ et 245 €. La version gratuite reste plafonnée à 500 URL par crawl, sans sauvegarde de crawl ni configuration avancée. Ce plafond est le vrai discriminant : en dessous, on inspecte une poignée de pages, au-dessus seulement on audite un site.
Son usage réel dans une opération de netlinking
Un acheteur de liens utilise le Spider pour trois choses, et il gagnerait à ne pas en attendre davantage.
La première est le contrôle de livraison. Une fois l’article publié chez l’éditeur, un crawl ciblé de la seule URL concernée confirme en quelques secondes que la page répond en 200, qu’elle n’est pas en noindex, que son canonical pointe sur elle-même et non sur une catégorie, que le lien est en dur dans le HTML et non injecté par script, et qu’il ne passe pas par une redirection intermédiaire. Ce contrôle attrape des défauts qu’aucune capture d’écran ne révèle. Nous l’imposons sur les médias éditoriaux que nous opérons en propre, et il a plus d’une fois rattrapé un plugin de cache servant une version obsolète de la page.
La deuxième est la qualification d’un support avant achat. Crawler le site d’un éditeur candidat expose en dix minutes ce que ses métriques d’autorité cachent : profondeur réelle des articles depuis l’accueil, proportion de pages orphelines, densité de liens sortants par page, présence d’une section entière en liens nofollow, publicités programmatiques par paquets. Un domaine à fort Domain Rating dont chaque article sort quarante liens vers l’extérieur n’a pas la valeur que son score annonce. C’est exactement le type de contrôle que devrait permettre un catalogue de médias consultable sans inscription, avant même de dépenser un crédit d’outil.
La troisième est l’audit du maillage receveur. Acheter un lien vers une page mal reliée en interne revient à remplir un seau percé. L’export des liens internes du Spider, croisé avec la profondeur de clic, montre en une passe si la page cible reçoit trois liens contextuels ou trois cents liens de pied de page. Corriger cela coûte zéro euro et produit souvent plus que le lien suivant. Pour arbitrer entre les deux dépenses, comparez le coût d’une correction interne à ce que coûte réellement un placement à l’unité : l’enquête 2025 menée auprès de 518 professionnels du SEO relevait un prix moyen jugé acceptable de 508,95 $ pour un backlink de qualité, et une analyse BuzzStream sur plus de 26 000 sites d’articles invités situait le coût moyen en direct à 364,76 $ contre 1 459,06 $ via intermédiaire.
Ce qu’on voit rater en audit
L’erreur la plus fréquente est de crawler en mode Spider par défaut et de conclure qu’une section n’existe pas. Elle existe souvent, elle n’est simplement reliée par aucun lien interne suivable depuis le point de départ. Le crawl a raison sur le fait, faux sur l’interprétation : la page n’est pas absente, elle est orpheline. Le réflexe correct consiste à recrouler en mode liste depuis le sitemap XML et à comparer les deux ensembles. L’écart entre les deux est le vrai diagnostic.
La deuxième erreur est le rendu. Beaucoup de sites publient un HTML initial pauvre et injectent contenu et liens côté client. Sans activer le rendu JavaScript, le crawl décrit un site qui n’existe pour personne. Avec le rendu activé, le crawl est dix fois plus lent et révèle parfois que les liens du menu ne sont pas dans le DOM initial, ce qui change la lecture du maillage entier.
La troisième est de traiter la sortie comme un plan d’action. Une colonne remplie de rouge ne prouve pas qu’il y a un problème métier. Des milliers de balises meta description absentes sur des pages de pagination ne coûtent rien. Une seule chaîne de redirection sur la page qui reçoit vos liens payants coûte cher. La hiérarchisation ne sort pas de l’outil, elle vient de l’opérateur, et c’est précisément ce que les audits automatisés vendus au forfait ne font pas.
La quatrième, plus insidieuse en 2026, est de continuer à auditer comme si la seule sortie était le classement organique. La cadence des mises à jour anti-spam s’est resserrée : celle de mars 2026 s’est déployée mondialement en moins de vingt-quatre heures, celle de juin 2026 en 49 heures selon le registre officiel de Google, là où celle d’août 2025 avait duré 27 jours. Un placement fabriqué en série se corrige désormais plus vite qu’il ne se rentabilise.
Les réglages qui changent le diagnostic
Trois configurations produisent l’essentiel de la valeur. Limiter la vitesse de crawl quand vous auditez un site tiers, d’abord : cinq requêtes par seconde sur un mutualisé se voit dans les logs de l’éditeur et se termine en blocage d’IP. Personnaliser le user-agent ensuite, non pour se cacher mais pour comparer ce que voit un navigateur, ce que voit Googlebot smartphone et ce que voit un bot IA, car les trois ne reçoivent pas toujours la même réponse. Activer enfin l’extraction personnalisée par XPath ou CSS pour capturer ce que l’outil ne modélise pas nativement : présence d’un bloc auteur, d’une mention de partenariat, d’un attribut sponsored sur les liens sortants. C’est cette extraction, pas les rapports standards, qui permet de mesurer à l’échelle la qualité éditoriale d’un support avant de l’intégrer à un réseau de médias opéré en propre.
Le crawl reste une photographie. Sa valeur vient de la répétition : deux crawls comparés disent bien plus qu’un crawl commenté, et la comparaison automatique introduite en mai 2026 rend cette discipline enfin praticable sans script maison.
Nautilinks opère un réseau de médias éditoriaux. Articles écrits en interne, mentions de transparence respectées, mix d'ancres calibré.
Questions fréquentes
Screaming Frog peut-il remplacer Ahrefs ou Semrush pour qualifier un support avant achat de lien ?
Non, et l’inverse est vrai aussi. Le Spider ne connaît aucun lien entrant : il ne voit que ce que le site publie et ce qu’il envoie vers l’extérieur. Un index de liens vous donne l’autorité perçue, le crawl vous donne l’hygiène réelle du support, c’est-à-dire liens sortants par page, profondeur des articles, pages orphelines, directives d’indexation. Les deux se complètent, et c’est le croisement des deux qui écarte les domaines dont le score dépasse la réalité éditoriale.
Le support MCP de la version 24.0 change-t-il vraiment la façon de travailler ?
Oui, pour qui audite plusieurs sites par semaine. Depuis le 19 mai 2026, un assistant peut lancer un crawl, filtrer les résultats, croiser deux exports et produire une synthèse sans passer par l’interface. Le gain n’est pas la vitesse de crawl, elle est inchangée, mais la vitesse d’interrogation. En pratique, le travail de recoupement qui prenait une heure de manipulation de colonnes se pose en quelques questions. La lecture critique du résultat, elle, reste entièrement à votre charge.
Faut-il activer le rendu JavaScript par défaut sur tous les crawls ?
Non. Le rendu multiplie la durée et la consommation mémoire du crawl. La bonne méthode consiste à crawler d’abord en HTML brut, puis à recrouler avec rendu un échantillon représentatif : accueil, une page de catégorie, un article, une page produit. Si le nombre de liens internes détectés diverge fortement entre les deux passes, le site dépend du rendu client et tout l’audit doit basculer en mode rendu. Sinon, gardez la passe rapide.
Comment vérifier avec Screaming Frog qu’un lien acheté transmet bien de la valeur ?
Crawlez l’URL en mode liste et contrôlez quatre points : code 200 sans redirection intermédiaire, absence de noindex dans la balise meta robots et dans l’en-tête HTTP, canonical pointant sur elle-même, et présence du lien dans l’export des liens sortants avec l’attribut attendu. Si le lien n’apparaît que rendu, il est injecté côté client. Si l’attribut nofollow ou sponsored est présent alors que le brief prévoyait un lien suivi, la commande n’est pas conforme.
La version gratuite suffit-elle pour un usage netlinking ponctuel ?
Pour un contrôle de livraison sur quelques URL, oui. Pour qualifier un support, non : le plafond de 500 URL par crawl s’atteint sur n’importe quel média actif, et la version gratuite n’autorise ni la sauvegarde de crawl ni la configuration avancée, donc ni extraction personnalisée ni comparaison. La licence est à 199 £ par utilisateur et par an d’après la FAQ officielle, avec un tarif de 279 $ et 245 € enregistré depuis l’ajustement de devise de mai 2025.
Comment savoir si les bots IA lisent réellement mes pages ?
Pas avec le Spider. La réponse est dans les logs serveur, et le Log File Analyser 7.0 sorti le 29 avril 2026 a précisément ajouté la vérification d’identité des bots, ce qui permet de séparer les vrais crawlers des user-agents usurpés. Côté résultat plutôt que côté accès, ce sont les rapports de performance générative ajoutés à la Search Console le 3 juin 2026 qui donnent les impressions issues des AI Overviews et de l’AI Mode.
Testez vos connaissances
Quiz : Screaming Frog
1/3Quelle information Screaming Frog SEO Spider ne peut structurellement pas fournir ?