Votre robots.txt
On ajoute automatiquement /robots.txt si absent.
Matrice d'accès
autorisé bloqué
| Bot | Famille | Paths |
|---|
Voir le contenu robots.txt analysé
Testez votre fichier robots.txt contre 18 user-agents, moteurs classiques et bots IA, avec la priorité de règles conforme RFC 9309. Vous décidez qui peut crawler votre site.
On ajoute automatiquement /robots.txt si absent.
| Bot | Famille | Paths |
|---|
Cet outil teste 18 crawlers répartis en 4 familles : moteurs (Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider), image/spec (Googlebot-Image, Googlebot-News), IA génératives (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Perplexity-User, Applebot, Applebot-Extended, Google-Extended, CCBot), et le wildcard *. La famille IA évolue vite, on l'ajuste régulièrement.
Selon le protocole Robots Exclusion (RFC 9309 depuis 2022), c'est la règle la plus longue qui matche le path qui gagne, indépendamment de l'ordre dans le fichier. Si Allow: /blog/ et Disallow: /blog/draft/ sont définis, /blog/draft/2024.html est bloqué car la règle Disallow est plus spécifique. En cas d'égalité parfaite de longueur, c'est l'Allow qui l'emporte chez Google.
Bloquer GPTBot, ClaudeBot, PerplexityBot empêche votre contenu d'entraîner ces modèles ou d'être cité dans leurs réponses. À l'inverse, autoriser ces bots favorise l'apparition de votre marque dans ChatGPT, Claude, Perplexity. C'est un trade-off stratégique (visibilité IA vs. propriété intellectuelle) qui mérite une décision explicite, pas un défaut hérité.
Oui. Collez le contenu directement dans le second onglet "Coller le contenu" plutôt que de fournir une URL. Le test fonctionne en local navigateur, sans envoi à un serveur tiers.
Nautilinks aide les marques à se positionner dans les contenus repris par ChatGPT, Claude et Perplexity via des liens et mentions sur des médias français.