Mesurez si l'écart de performance entre deux variantes (title, snippet, layout, CTA) est statistiquement significatif ou si c'est juste du bruit.
Si les deux intervalles se chevauchent, l'écart observé n'est probablement pas significatif au seuil de 5%.
Un résultat est dit significatif au seuil α=5% si la probabilité d'observer un écart aussi grand par hasard (alors que les deux variantes sont en réalité équivalentes) est inférieure à 5%. C'est ce qu'on appelle la p-value. Un test non significatif ne dit pas que les variantes sont identiques, il dit qu'on n'a pas assez de données pour conclure. Il faut soit plus de trafic, soit accepter que la différence n'est pas exploitable.
Les changements SEO côté on-page (title, meta description, H1, schema markup) ont des effets souvent invisibles sur le ranking lui-même mais mesurables sur le CTR. Tester en A/B permet de quantifier objectivement l'effet. Limite : le SEO n'est pas un environnement vraiment A/B, vous ne pouvez pas servir deux titles différents au même utilisateur. La méthode pratique : split test temporel (variante A pendant 4 semaines, variante B les 4 suivantes) avec ajustement saisonnier, ou split par cluster d'URLs comparables.
Dépend de la baseline et de l'effet recherché. Règle de pouce : pour détecter un lift de 10% sur un taux de conversion de 5%, il faut environ 6 000 visiteurs par variante (12k au total) à 95% de confiance, 80% de puissance. Plus le taux de base est faible et plus le lift attendu est petit, plus il faut de trafic. Pour un test SEO sur une page à 100 visites/jour, comptez 2 mois minimum pour avoir un signal exploitable.
Cet outil utilise un Z-test pour deux proportions (approximation normale, idéale quand n*p > 5 et n*(1-p) > 5, soit en pratique au-delà de quelques centaines de visiteurs par variante). Le Chi² est mathématiquement équivalent en 2x2. Les méthodes bayésiennes (probabilité que B > A) sont plus intuitives mais moins standard côté reporting business, on les ajoutera dans une V2 si la demande est là.
Notre catalogue de sites du réseau est consultable sans inscription. Prix éditeur affiché, sans commission ni intermédiaire.