- →ClaudeBot collecte du contenu potentiellement destiné à l'entraînement des modèles ; Claude-SearchBot alimente la recherche et Claude-User récupère les pages en direct pour répondre à un utilisateur. Un Disallow global sur les trois coupe la visibilité, pas seulement l'entraînement.
- →Le ratio pages explorées par visiteur renvoyé mesuré sur Cloudflare Radar donnait ClaudeBot à 23 951 pour 1 entre le 1er janvier et le 16 mars 2026, contre environ 5 pour 1 chez Google : ClaudeBot est une ligne de coût d'infrastructure, jamais un canal d'acquisition.
- →La part de ClaudeBot dans le trafic des bots IA oscille fortement (11,69 % en avril 2026, 9,73 % en mai, près de 20 % en juin, 16,28 % en juillet d'après les relevés Cloudflare) : ces moyennes ne disent rien de votre charge, seuls vos logs la mesurent.
- →Le robots.txt est une convention déclarative, pas un contrôle d'accès. Si l'enjeu est la charge serveur ou le droit d'auteur, la règle doit vivre dans le WAF ou le serveur, pas seulement dans un fichier texte.
- →Le blocage massif appauvrit le corpus de vos mentions de marque : quand les médias qui vous citent ferment leur porte aux robots IA, votre notoriété n'entre plus dans les modèles par ce chemin.
- →Depuis le 3 juin 2026, Search Console expose des vues de performance dédiées aux surfaces génératives : arbitrer au doigt mouillé n'a plus d'excuse.
Un robot de collecte, pas un canal de trafic
Dans les logs d'un serveur, ClaudeBot se signale par une chaîne d'agent utilisateur de la forme Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com). Derrière cette ligne, une fonction unique : parcourir le web public et constituer un corpus de contenu susceptible d'alimenter l'entraînement des modèles Anthropic. Les system cards publiées par Anthropic en 2026, dont celle de Claude Sonnet 5 le 30 juin 2026, le décrivent comme un crawler généraliste destiné aux données d'entraînement et affirment qu'il suit les instructions du fichier robots.txt des sites visités.
La conséquence opérationnelle est brutale et mérite d'être posée d'entrée : ce robot ne vous envoie personne. L'analyse de Cloudflare sur le rapport entre exploration et clics renvoyés situait ClaudeBot à environ 38 065 pages explorées pour un seul visiteur référé en juillet 2025, contre 286 930 pour 1 six mois plus tôt. Une lecture plus récente des données Cloudflare Radar, sur la période du 1er janvier au 16 mars 2026, mesurait 23 951 pages pour 1, quand GPTBot tournait à 1 276 pour 1, Perplexity autour de 111 pour 1 et Google autour de 5 pour 1. Les auteurs de cette analyse précisent que le chiffre dépend fortement de la fenêtre, de l'échantillon de sites et de l'attribution : le trafic issu d'applications natives n'envoie souvent aucun en-tête Referer, ce qui gonfle mécaniquement le ratio.
Même en tenant compte de ce biais, l'ordre de grandeur ne laisse pas de place à l'ambiguïté. Un propriétaire de site qui espère du trafic en laissant passer ClaudeBot se trompe de raisonnement. L'exploration par ClaudeBot n'a de valeur qu'indirecte : elle détermine ce que les futurs modèles auront lu de votre marque, de votre lexique et de vos prises de position. C'est un pari à horizon long, pas une source de sessions ce mois-ci. Cloudflare estimait d'ailleurs en juillet 2025 que 79 % de l'exploration par les robots d'IA servait l'entraînement, contre 17 % la recherche et 3,2 % la récupération déclenchée par une action utilisateur.
Trois user-agents Anthropic, trois arbitrages distincts
Le 25 février 2026, Anthropic a clarifié la répartition des rôles au sein de sa flotte de robots, une mise à jour relayée par Search Engine Land. ClaudeBot collecte du contenu web public potentiellement utilisé pour l'entraînement. Claude-User récupère des pages en réponse à une demande explicite d'un utilisateur, en temps réel, pendant une conversation. Claude-SearchBot indexe les contenus pour les résultats de recherche servis dans Claude.
Cette séparation change complètement la nature de la décision. Fermer ClaudeBot ne ferme pas la visibilité : cela retire vos pages du corpus d'entraînement futur, sans toucher à votre présence dans les réponses. Fermer Claude-SearchBot réduit en revanche vos chances d'être inclus dans les résultats de recherche de Claude, et fermer Claude-User empêche la récupération en direct quand un utilisateur pose une question qui vous concerne. La politique par défaut que nous appliquons sur les sites que nous opérons ressemble à ceci :
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /Elle préserve la visibilité dans la recherche Claude et dans les réponses en temps réel, tout en se retirant de la collecte d'entraînement. Sous réserve, évidemment, que l'éditeur respecte ce qu'il annonce : le fichier robots.txt reste une convention déclarative, sans mécanisme d'exécution. Les modalités précises de rédaction et les pièges par robot sont détaillés dans notre entrée sur la configuration du robots.txt face aux robots d'IA.
Un mot sur la directive Crawl-delay, que beaucoup d'articles présentent comme la solution à la charge serveur. Elle ne fait pas partie du standard formalisé par la RFC 9309, et son traitement dépend entièrement du bon vouloir de chaque éditeur de robot. Rien ne garantit qu'Anthropic la traite. Construire une politique de charge sur cette directive, c'est construire sur du sable : si la charge est le problème, la limitation doit vivre dans le serveur ou le pare-feu applicatif, où elle est effectivement appliquée.
Mesurer ClaudeBot dans ses logs plutôt que le supposer
Les parts de marché publiées mensuellement circulent beaucoup et servent mal. D'après la comparaison publiée par Cloudflare en juillet 2025, la part de ClaudeBot dans le trafic des robots d'IA est passée d'environ 6 % en juillet 2024 à près de 10 % en juillet 2025 ; sur la même période, GPTBot montait de 4,7 % à 11,7 % pendant que Bytespider s'effondrait de 14,1 % à 2,4 %. Les relevés mensuels de 2026 montrent surtout une volatilité considérable : 11,69 % en avril 2026 (GPTBot 9,84 %), 9,73 % en mai (GPTBot 11,48 %), près de 19,8 à 20 % en juin (Googlebot autour de 24,9 %), puis 16,28 % en juillet (Googlebot 24,52 %). La poussée de juin, rapportée à environ 66 % en un mois, plaçait ClaudeBot au deuxième rang des robots d'IA derrière Googlebot.
Ces chiffres décrivent un agrégat mondial. Ils ne disent rien de ce que ClaudeBot fait sur votre site, et un consultant qui les cite pour justifier un blocage saute une étape. La mesure utile tient en trois requêtes sur les logs bruts : le nombre de hits par jour attribués à chaque user-agent Anthropic, la profondeur moyenne des sessions d'exploration, et la répartition des chemins visités. Une étude sur 12 sites de production, publiée le 26 avril 2026, mesurait environ 1 800 hits ClaudeBot par site et par jour, contre 4 200 pour GPTBot et 980 pour PerplexityBot, avec une exploration nettement plus profonde chez ClaudeBot (5,2 pages en moyenne contre 3,8) et une préférence marquée pour les chemins de documentation et d'API. L'échantillon de 12 sites rend le résultat indicatif, pas généralisable, mais il installe une intuition juste : ce robot va au fond des arborescences techniques.
Dernier réflexe avant toute décision : vérifier l'authenticité. Une chaîne d'agent utilisateur se falsifie en une ligne de code, et une part non négligeable de ce qui se présente comme ClaudeBot dans les logs d'un site moyen est un scraper opportuniste qui emprunte le nom pour passer les filtres grossiers. Croiser l'agent avec les plages d'adresses IP publiées par l'éditeur, et non avec la seule chaîne déclarée, évite de bâtir une politique entière sur du bruit.
Bloquer ou laisser passer : l'arbitrage réel en 2026
Le blocage s'est répandu, mais il s'est surtout affiné. Un relevé de juin 2026 portant sur 107 sites en vue trouvait 38 sites, soit 35,5 %, bloquant explicitement ClaudeBot, 39 sites bloquant au moins un robot d'Anthropic et 48 sites bloquant au moins un robot d'IA majeur. Seuls 9 sites, soit 8,4 %, utilisaient une interdiction générique par joker : la très grande majorité écrit des règles ciblées par robot. Cloudflare rapportait en janvier 2026 qu'entre juillet 2025 et janvier 2026, les sites bloquant les robots d'IA populaires comme ClaudeBot et GPTBot étaient près de sept fois plus nombreux que ceux bloquant Googlebot et Bingbot.
Le calcul économique, lui, n'est pas tranché. Une étude publisher menée par Rutgers et Wharton a rapporté que les 30 principaux éditeurs bloquant les robots d'IA avaient connu une baisse de 23 % du trafic total et de 14 % du trafic humain, en avertissant que la corrélation n'établit pas la causalité ; une révision ultérieure a produit une baisse hebdomadaire d'environ 7 %, ce qui illustre surtout l'incertitude de la mesure. Trancher un arbitrage d'infrastructure sur ce seul travail serait imprudent.
La bonne question n'est pas « faut-il bloquer », elle est « qu'est-ce que je vends ». Un média dont l'archive est le produit a un intérêt évident à fermer la collecte d'entraînement tout en gardant ouverte la récupération en temps réel. Un éditeur de logiciel dont la documentation constitue la meilleure preuve de compétence a intérêt à tout laisser passer : être lu par les modèles est exactement l'objectif. Sur les médias éditoriaux que nous opérons en propre, nous gardons Claude-SearchBot et Claude-User ouverts partout, et nous arbitrons ClaudeBot site par site selon la valeur d'archive. C'est aussi la logique qui sous-tend notre travail sur la présence des marques dans les réponses génératives : la visibilité se joue sur les robots de récupération, pas sur celui d'entraînement.
Cet arbitrage se mesure désormais. Google a publié le 15 mai 2026 son premier guide officiel d'optimisation pour la recherche générative, couvrant AI Overviews et AI Mode, en rappelant que le SEO classique reste le socle de ces surfaces puisqu'elles s'appuient sur les systèmes de classement existants. Search Console a ajouté le 3 juin 2026 des vues de performance dédiées aux fonctionnalités génératives. Le cadre méthodologique complet est traité dans notre entrée sur l'optimisation pour les moteurs génératifs. Pour un site qui veut exister dans ces réponses, le levier reste l'autorité éditoriale acquise sur des médias réels, que l'on peut construire en sélectionnant soi-même ses supports dans un catalogue de médias consultable sans inscription.
Ce qu'on voit rater en audit
L'erreur la plus fréquente, et la plus coûteuse, reste le joker. Un User-agent: * suivi d'un Disallow: / sur les chemins sensibles ferme les trois robots Anthropic d'un coup. Six mois plus tard, l'équipe s'étonne que la marque ne soit jamais citée dans Claude et commande un audit de visibilité IA pour diagnostiquer un problème qu'elle a créé elle-même dans un fichier de quatre lignes.
Deuxième piège : croire que le robots.txt protège. Il ne protège pas, il demande. Un scraper qui ignore la consigne n'est arrêté que par une règle serveur ou une règle de pare-feu. Quand l'enjeu est juridique ou qu'il concerne la charge, le fichier ne suffit pas et l'audit doit remonter d'un étage.
Troisième piège, plus subtil : le blocage rétroactif n'existe pas. Interdire ClaudeBot aujourd'hui empêche la collecte future, cela ne retire rien des corpus déjà constitués. Un site qui bloque en espérant se faire oublier d'un modèle déjà entraîné dépense de l'énergie pour rien.
Quatrième piège, celui qu'on voit le moins venir : le blocage des autres. Votre marque n'entre pas seulement dans les modèles par vos propres pages, elle y entre par ce que les médias écrivent sur vous. Quand les sites qui vous citent ferment leur porte aux robots d'IA, ce chemin se ferme aussi, et il ne se rouvre pas depuis chez vous. C'est un argument opérationnel en faveur de la diversification des supports, et une raison de piloter l'acquisition de citations sur plusieurs mois plutôt qu'en une vague concentrée sur trois ou quatre gros titres qui bloquent tout.
Dernier point, méthodologique : ne cherchez pas ClaudeBot dans GA4. Un robot n'exécute pas votre balise de mesure, et le trafic issu des applications natives n'envoie souvent aucun référent exploitable. Les logs serveur et les statistiques du CDN sont les deux seules sources honnêtes sur ce sujet.
Nautilinks opère un réseau de médias éditoriaux. Articles écrits en interne, mentions de transparence respectées, mix d'ancres calibré.
Questions fréquentes
Bloquer ClaudeBot fait-il disparaître mon site des réponses de Claude ?
Non. Depuis la clarification d'Anthropic du 25 février 2026, relayée par Search Engine Land, ClaudeBot sert la collecte de contenu potentiellement destiné à l'entraînement. Ce sont Claude-SearchBot, pour l'inclusion dans la recherche Claude, et Claude-User, pour la récupération en direct pendant une conversation, qui conditionnent votre présence dans les réponses. Bloquer les trois d'un même joker est l'erreur la plus commune : on croit protéger son archive, on se retire des réponses.
Comment vérifier que le robot qui se dit ClaudeBot en est vraiment un ?
La chaîne d'agent utilisateur se falsifie trivialement, et une partie du volume attribué à ClaudeBot dans les logs d'un site moyen provient de scrapers qui empruntent son nom pour franchir les filtres. La vérification passe par le croisement avec les plages d'adresses IP publiées par l'éditeur, pas par la chaîne déclarée. Sans ce recoupement, vous risquez de calibrer une politique de blocage entière sur du trafic qui n'a jamais été celui d'Anthropic.
La directive Crawl-delay limite-t-elle réellement la charge générée par ClaudeBot ?
Elle ne fait pas partie du standard formalisé par la RFC 9309 et son traitement dépend entièrement du bon vouloir de chaque éditeur de robot. Rien ne garantit qu'Anthropic la respecte. Si la charge serveur est le vrai sujet, la limitation de débit doit être posée dans le serveur ou le pare-feu applicatif, où elle s'applique réellement, plutôt que dans un fichier texte que le robot est libre d'ignorer.
Le blocage de ClaudeBot a-t-il un effet sur le classement Google ?
Aucun mécaniquement : les règles ciblant les user-agents d'Anthropic n'affectent pas Googlebot. Le risque est ailleurs, dans l'exécution. On voit régulièrement des règles de pare-feu écrites pour les robots d'IA attraper au passage la vérification de Googlebot ou les outils de crawl d'audit. Après toute modification, contrôlez le comportement réel avec l'inspection d'URL de Search Console plutôt que de vous fier au fichier tel qu'il est écrit.
Combien de sites bloquent effectivement ClaudeBot aujourd'hui ?
Un relevé de juin 2026 portant sur 107 sites en vue trouvait 38 sites, soit 35,5 %, bloquant explicitement ClaudeBot, et 48 sites bloquant au moins un robot d'IA majeur. Le point notable est la granularité : seuls 8,4 % utilisaient une interdiction générique par joker, tous les autres écrivaient des règles ciblées par robot. La pratique du secteur s'est déplacée du blocage total vers l'arbitrage sélectif entre entraînement et récupération.
Un contenu déjà absorbé par un modèle peut-il être retiré après coup ?
Le blocage n'a pas d'effet rétroactif : il empêche la collecte future, il ne défait pas l'entraînement déjà réalisé. Une demande de retrait passe par les canaux de contact de l'éditeur et relève d'une démarche juridique ou contractuelle, pas d'une ligne de robots.txt. Pour un site qui découvre le sujet en 2026, la décision porte donc sur les prochains cycles d'entraînement, jamais sur ce qui est déjà dans les modèles en production.
Testez vos connaissances
Quiz : ClaudeBot
1/3Quel user-agent d'Anthropic faut-il laisser passer pour rester éligible aux résultats de recherche servis dans Claude ?