Tests d’hypothèses
Progression
#Tests d’hypothèses
Un test oppose une hypothèse nulle H0 à une alternative H1, choisit une statistique de test, et fixe une règle de rejet contrôlant le risque de première espèce. La puissance est la probabilité de rejeter H0 quand H1 est vraie; elle dépend de la taille d’échantillon, de la variabilité et de la taille d’effet. Concevoir une étude, c’est calibrer ces ingrédients plutôt que d’espérer une p‑value miraculeuse.
Les tests t comparent des moyennes sous des hypothèses de normalité; les tests du chi‑deux comparent des distributions catégorielles; l’ANOVA généralise la comparaison de moyennes à plusieurs groupes. On préfère des méthodes robustes si les conditions sont fragiles. La décision finale s’exprime en termes de risque, de taille d’effet et de pertinence pratique, pas seulement en « significatif » ou « non significatif ».
#Animation: démarche d’un test
#Explorer : puissance et risque β
Explorer la puissance statistique
Ajustez taille d’échantillon, taux de base et uplift attendu. L’outil estime la puissance d’un test unilatéral sur une proportion (approximation normale).
Conversion baseline 10 %, on espère +1,5 point avec 5 000 utilisateurs par variante.
Résultat
- Puissance estimée
- 96.2%
- Risque β (faux négatif)
- 3.8%
- Signal / bruit
- 3.54
Un test puissant (>80 %) réduit la probabilité de passer à côté d’un effet réel. Sinon, augmentez N ou acceptez une marge de décision plus large.
Hypothèses
- Taux H0 (p₀) : 10.0%
- Taux H1 (p₁) : 11.5%
- Seuil critique zα : 1.64
- Distribution sous H1 : µ ≈ 3.54, σ ≈ 1.06
Conseils
- Pour doubler la puissance, il faut souvent plus que doubler N (effet √N).
- Si l’uplift attendu est incertain, simulez un scénario pessimiste.
- Contrôlez les métriques business (taille d’effet) en plus de la p-value.