Ihre robots.txt
Wir hängen /robots.txt automatisch an, falls nötig.
Zugriffsmatrix
erlaubt blockiert
| Bot | Familie | Pfade |
|---|
Analysierten robots.txt-Inhalt anzeigen
<code id="rb-content-display">
Testen Sie Ihre robots.txt gegen 18 User-Agents, klassische Suchmaschinen und KI-Bots, mit RFC-9309-konformer Regelpriorität. Sie entscheiden, wer Ihre Seite crawlen darf.
Wir hängen /robots.txt automatisch an, falls nötig.
| Bot | Familie | Pfade |
|---|
<code id="rb-content-display">
Das Tool testet 18 Crawler in 4 Familien. Suchmaschinen (Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider), Bild / Spezial (Googlebot-Image, Googlebot-News), generative KI (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Perplexity-User, Applebot, Applebot-Extended, Google-Extended, CCBot), und der *-Wildcard. Die KI-Familie ändert sich schnell, wir passen regelmäßig an.
Nach dem Robots-Exclusion-Protokoll (RFC 9309 seit 2022) gewinnt die längste auf den Pfad passende Regel, unabhängig von der Reihenfolge in der Datei. Sind Allow: /blog/ und Disallow: /blog/draft/ definiert, ist /blog/draft/2024.html blockiert, weil die Disallow-Regel spezifischer ist. Bei exakt gleicher Länge gewinnt bei Google Allow.
GPTBot, ClaudeBot, PerplexityBot zu blockieren verhindert, dass Ihre Inhalte diese Modelle trainieren oder in deren Antworten zitiert werden. Umgekehrt fördert das Erlauben dieser Bots das Erscheinen Ihrer Marke in ChatGPT, Claude, Perplexity. Ein strategischer Trade-off (KI-Sichtbarkeit vs geistiges Eigentum), der eine ausdrückliche Entscheidung verdient, kein vererbter Default.
Ja. Fügen Sie den Inhalt direkt in den zweiten Tab "Inhalt einfügen" ein, statt eine URL anzugeben. Der Test läuft lokal im Browser, ohne Übertragung an einen Drittserver.
Nautilinks hilft Marken, sich in Inhalten zu positionieren, die ChatGPT, Claude und Perplexity übernehmen, via Links und Erwähnungen auf französischen Medien.