Significativité statistique

Définition de la Significativité statistique

‍

La significativité statistique est la mesure de la probabilité que le résultat observé lors d'un A/B test (ou de toute expérimentation) ne soit pas dû au hasard mais reflète une vraie différence de performance entre les variantes.

Elle est conventionnellement exprimée via la p-value (p < 0,05 signifiant 95% de confiance) ou directement sous forme de niveau de confiance (90%, 95%, 99%).

‍

Dans le domaine CRO, un résultat est généralement considéré comme statistiquement significatif lorsqu'il atteint au minimum 95% de confiance.

‍

Explication détaillée

‍

La significativité statistique répond à une question fondamentale de l'expérimentation : est-ce que la différence de taux de conversion observée entre ma variante et mon contrôle est "réelle" ou simplement due à la variance naturelle du trafic ?

‍

Mécanisme :

La p-value représente la probabilité d'observer un résultat au moins aussi extrême que celui mesuré, si l'hypothèse nulle était vraie (c'est-à-dire si la variante n'avait aucun effet réel).

Une p-value de 0,05 signifie : "Il y a 5% de chances que ce résultat soit dû au hasard."

‍

Formellement :

• H0 (hypothèse nulle) : la variante B n'a aucun effet sur le taux de conversion
• H1 (hypothèse alternative) : la variante B a un effet significatif
• Si p < 0,05 : on rejette H0 et on conclut que l'effet est significatif au seuil de 95%

‍

Deux risques à distinguer :

• Erreur de type I (faux positif, α) : conclure qu'une variante performe mieux alors qu'elle ne le fait pas réellement. Probabilité = 1 - niveau de confiance. À 95%, on accepte 5% de faux positifs.
• Erreur de type II (faux négatif, β) : ne pas détecter un effet réel. Lié à la puissance statistique du test (généralement fixée à 80%).

‍

La significativité ne dit pas tout :

• Un résultat peut être statistiquement significatif mais non significatif en termes business (amélioration de +0,1% du taux de conversion avec p=0,01)
• Un résultat peut être business-significatif mais statistiquement non-significatif (manque de trafic)
• La significativité ne garantit pas la reproductibilité du résultat en production (regression to the mean)

‍

Approche fréquentiste vs Bayésien (Statistiques) :

L'approche fréquentiste (p-value) est la plus répandue mais présente des limites opérationnelles. L'approche bayésienne exprime la probabilité directement compréhensible : "Il y a 95% de probabilité que la variante B soit meilleure que le contrôle."

‍

Cas d'usage Datacrew

‍

Exemple fictif à des fins d'illustration :

Un A/B Test Server Side compare deux versions d'une page de paiement sur un site de réservation en ligne :

• Contrôle (A) : 2 850 visiteurs, 171 conversions → taux de conversion = 6,0%
• Variante (B) : 2 880 visiteurs, 196 conversions → taux de conversion = 6,8%

Avec ces volumes et cette différence relative de +13,3%, un calculateur de significativité donne une p-value de 0,042 (< 0,05), soit un niveau de confiance de 95,8%.

‍

Chez Datacrew, nous recommandons d'attendre le temps d'atteindre la significativité statistique cible ET une durée minimale de test (généralement 2 à 4 semaines) pour éviter les biais de saisonnalité et le Novelty Effect.

Arrêter un test dès l'atteinte de 95% sans respecter la durée minimale est une erreur fréquente qui génère des faux positifs.

‍

Distinction avec les termes proches

‍

Significativité statistique vs puissance statistique : la puissance statistique (statistical power) est la probabilité de détecter un vrai effet s'il existe. Elle est liée à la taille de l'échantillon requis.

Un test avec une puissance insuffisante (< 80%) risque de conclure à tort qu'il n'y a pas d'effet (faux négatif). Ces deux concepts sont complémentaires : une expérimentation rigoureuse fixe le niveau de confiance ET la puissance cible avant de lancer le test.

‍

Mais elles ne sont pas juste "complémentaires", elles contrôlent deux erreurs symétriques :

• Signification statistique (seuil α, typiquement 5%) → contrôle le risque de faux positif (erreur de type I : dire qu'il y a un effet alors qu'il n'y en a pas)
• Puissance (1-β, typiquement 80%) → contrôle le risque de faux négatif (erreur de type II)

‍

Significativité vs taille d'effet : la taille d'effet mesure l'ampleur de la différence observée (en termes absolus ou relatifs). On peut avoir un résultat significatif avec une très petite taille d'effet, et inversement.

‍

Les deux métriques sont nécessaires pour évaluer la valeur business d'un résultat.

‍

Bonnes pratiques d'implémentation

‍

1. Calculer la taille d'échantillon requise AVANT de lancer le test. Les outils de calcul permettent de déterminer le nombre de visiteurs nécessaires selon l'effet minimum détectable (MDE), la puissance cible et le niveau de confiance.
2. Fixer le niveau de confiance cible avant le début du test (standard : 95%). Le modifier en cours de test pour "forcer" un résultat significatif est une erreur méthodologique grave (p-hacking).
3. Respecter la durée minimale de test (minimum 2 semaines pour capturer la variabilité des comportements en semaine vs week-end). Nous recommandons généralement au moins deux cycles business.
4. Ne pas interrompre un test prématurément, même si les résultats semblent convergents. Les outils de test séquentiels (SPRT) permettent de monitorer en continu sans inflation du risque de faux positif.
5. Tenir compte de la correction pour tests multiples si plusieurs métriques sont analysées simultanément comme objectif principal.