La taille d’échantillon optimale d’un test A/B dépend de quatre paramètres : la baseline (votre taux de conversion actuel), le MDE (l’effet minimal que vous voulez détecter), le seuil de signification alpha et la puissance statistique. À titre d’ordre de grandeur, un test qui part d’une baseline de 5 % et vise un MDE relatif de 10 % réclame environ 31 000 visiteurs par variante avec un alpha de 0,05 et une puissance de 80 %. Avant de fixer ce MDE, chiffrez toujours son impact en euros.
En bref:
- Une faible baseline de 3 % nécessite un échantillon de plusieurs dizaines de milliers de visiteurs par variante, rendant le test long et coûteux.
- Un MDE réduit de 10 % à 5 % multiplie par environ quatre la taille d’échantillon requise, ce qui rallonge considérablement la durée du test.
- Pour un trafic quotidien de 500 visiteurs, un test avec 31 000 visiteurs par variante peut durer plus de 120 jours, souvent incompatible avec les contraintes pratiques.
- Arrêter un test avant un cycle hebdomadaire complet augmente le risque de faux positifs, surtout si on le fait en cours de test.
- Lors de l’application d’un calculateur de taille d’échantillon, il faut vérifier si l’outil prend en compte le clustering et la distinction entre lift relatif et lift absolu.
Table des matières
- Les quatre paramètres qui déterminent la taille d’échantillon d’un a/b test
- La formule du calcul de taille d’échantillon, avec un exemple chiffré
- Comment convertir la taille échantillon en durée de test selon votre trafic ?
- Combien de temps faut-il faire tourner un test A/B ?
- Que faire quand le trafic ne permet pas d’atteindre la taille échantillon requise ?
- Comment bien utiliser un calculateur de taille d’échantillon ?
- Comment Lucioles aide à fixer le MDE et prioriser vos tests
- Ce que j’observe le plus souvent sur le terrain
- Lucioles vous accompagne dans la définition et l’exécution de vos tests A/B
- Sources
- Questions fréquentes
Les quatre paramètres qui déterminent la taille d’échantillon d’un a/b test
Personne n’aime attendre trois mois pour savoir si un bouton rouge convertit mieux qu’un bouton vert. Pourtant, la durée d’un test n’est jamais négociable une fois que vous avez fixé vos exigences statistiques. Elle découle directement de quatre variables, et c’est leur combinaison qui dicte le volume de trafic nécessaire.
La baseline est votre taux de conversion actuel sur la métrique testée. Utilisez toujours une mesure au niveau utilisateur plutôt qu’au niveau session, sinon vous comptez plusieurs fois le même visiteur et vous faussez le calcul. Si votre boutique affiche un taux de conversion e-commerce de 3 %, c’est cette valeur qui sert de point de départ, pas une moyenne sectorielle générique.
Le MDE (effet minimal détectable) est l’amélioration la plus faible que vous jugez pertinente de détecter.
L’alpha (risque de faux positif, généralement fixé à 5 %) et la puissance (probabilité de détecter un effet réel, généralement 80 %) sont des standards industriels qu’on ajuste rarement, sauf enjeux business élevés où l’on peut pousser la puissance à 90 %.
Conseil de pro : ces quatre paramètres interagissent de façon non linéaire. Une baseline faible exige un n très élevé, et diviser le MDE par deux ne double pas la taille d’échantillon requise : elle est multipliée par environ quatre.
Concrètement, l’ordre d’impact ressemble à ceci :
- Une baseline qui passe de 20 % à 2 % peut multiplier le n requis par dix ou plus.
- Un MDE relatif réduit de 20 % à 10 % multiplie le n requis par environ quatre.
- Passer la puissance de 80 % à 90 % alourdit le n requis de 30 % à 40 % environ.
- Réduire l’alpha de 5 % à 1 % augmente sensiblement le n requis, sans le multiplier autant que le MDE.
La formule du calcul de taille d’échantillon, avec un exemple chiffré
Pour un test à deux proportions, la formule standard s’écrit :
n = [(zα/2 + zβ)² × (p1(1−p1) + p2(1−p2))] / (p1 − p2)²
Ici, zα/2 est le score correspondant au seuil de signification choisi (1,96 pour un alpha de 0,05 bilatéral), zβ le score lié à la puissance (0,84 pour 80 %), p1 la baseline et p2 le taux cible après application du MDE.
Certains calculateurs simplifient en utilisant un p_pool, la moyenne pondérée des deux taux de conversion, pour estimer la variance combinée sous l’hypothèse nulle. Cette approximation reste fiable pour la plupart des tests marketing, tant que les tailles d’échantillon des deux groupes sont proches.
Reprenons l’exemple canonique : baseline à 5 %, MDE relatif de 10 % (donc un taux cible de 5,5 %), alpha à 0,05, puissance à 80 %. Le résultat tombe autour de 31 000 visiteurs par variante, soit environ 62 000 visiteurs au total pour le test.
Ces chiffres varient selon la calculette utilisée, mais l’ordre de grandeur reste comparable d’un outil à l’autre.
- Pour une métrique binaire (achat oui/non), la formule ci-dessus suffit dans la majorité des cas.
- Pour une métrique continue comme le revenu par visiteur, la variance grimpe fortement : comptez 5 à 10 fois plus d’observations que pour un test de conversion classique.
- Si vos utilisateurs génèrent plusieurs sessions corrélées, la formule standard sous-estime le besoin réel et il faut recourir à des ajustements pour clustering.
Comment convertir la taille échantillon en durée de test selon votre trafic ?
Une fois le n calculé, la conversion en jours est simple : durée = n total ÷ (trafic quotidien × part de trafic allouée au test).
Le split 50/50 minimise la variance de l’estimation et reste le choix par défaut. Un split déséquilibré comme 80/20 augmente le trafic total nécessaire pour atteindre la même puissance statistique, car le groupe minoritaire devient le facteur limitant.
- Trafic faible (500 visiteurs/jour) : un test à 31 000 par variante prend plus de 120 jours, ce qui impose souvent d’augmenter le MDE.
- Trafic moyen (5 000 visiteurs/jour) : le même test se termine en environ 12 à 13 jours.
- Trafic élevé (50 000 visiteurs/jour) : comptez 1 à 2 jours, mais attention au minimum de cycle hebdomadaire.
Conseil de pro : si vous testez plusieurs variantes simultanément (test multivarié), le risque de faux positif cumulé augmente avec le nombre de comparaisons. Une correction de Bonferroni ou équivalente devient nécessaire pour garder un alpha global maîtrisé.
Combien de temps faut-il faire tourner un test A/B ?
La règle opérationnelle est claire : ne jamais arrêter un test avant au moins un cycle hebdomadaire complet, et privilégier deux cycles (14 jours) pour le e-commerce afin de lisser les écarts entre jours ouvrés et week-end.
Le peeking, c’est-à-dire consulter les résultats avant la fin prévue et arrêter dès qu’on observe un écart significatif, gonfle fortement le taux de faux positifs. Un test conçu pour un alpha de 5 % peut afficher un taux réel de faux positifs bien supérieur si vous le regardez tous les jours et l’arrêtez au premier signal favorable, selon une analyse méthodologique dédiée. Engagez-vous sur une durée ou une taille prédéterminée, ou utilisez des méthodes séquentielles conçues pour ça.
La saisonnalité mérite aussi votre attention : un test lancé pendant le Black Friday ou une opération promotionnelle capture un comportement d’achat atypique, difficile à généraliser au reste de l’année.
Avant de lancer, vérifiez cette liste :
- Le n calculé correspond à votre MDE réel, traduit en euros.
- La durée prévue couvre au moins un cycle hebdomadaire complet.
- Aucun événement exceptionnel (soldes, campagne ponctuelle) ne chevauche la période.
- L’instrumentation technique (tracking, cookies, segmentation) est validée avant le lancement.
- La règle d’arrêt (date ou n atteint) est fixée par écrit, avant de commencer.
Que faire quand le trafic ne permet pas d’atteindre la taille échantillon requise ?
Un site à faible trafic ne peut pas toujours attendre quatre mois pour tester un changement de page produit. Plusieurs options restent réalistes.
- Augmenter le MDE : accepter de ne détecter que les gros effets (20 % ou plus) réduit fortement le n requis, au prix de rater les optimisations marginales.
- Concentrer les tests sur les pages à fort trafic ou sur des micro-conversions (clic sur un CTA, ajout au panier) plutôt que sur la conversion finale, plus rare et plus bruitée.
- Compléter par des tests qualitatifs (entretiens utilisateurs, tests d’utilisabilité) pour trianguler un signal statistique faible avec une observation comportementale directe.
- Prioriser le backlog de tests selon le ROI attendu et le coût d’implémentation, pas seulement selon la facilité technique de mise en œuvre.
Comment bien utiliser un calculateur de taille d’échantillon ?
Un bon calculateur demande au minimum quatre entrées : baseline, MDE (relatif ou absolu, précisez lequel), alpha et puissance souhaitée. En sortie, attendez-vous à obtenir plus qu’un simple chiffre.
- Le n par variante et le n total.
- Une estimation de durée si vous renseignez votre trafic quotidien.
- Une courbe de puissance montrant comment la puissance évolue selon la taille d’échantillon choisie.
- Un tableau de sensibilité qui croise différents MDE avec leurs tailles d’échantillon associées.
Vérifiez toujours si l’outil distingue lift relatif et lift absolu : confondre les deux est l’erreur la plus fréquente et peut fausser le n calculé d’un facteur deux ou plus. Assurez-vous aussi que l’outil suppose l’indépendance des observations : si vos données comportent du clustering (plusieurs sessions par utilisateur), le résultat affiché sous-estime probablement le besoin réel. Un comparatif d’outils CRO aide à repérer les calculateurs les plus complets sur ce point.
Comment Lucioles aide à fixer le MDE et prioriser vos tests
Chez Lucioles, la première question qu’on pose à un client avant de calculer une taille d’échantillon n’est jamais statistique : c’est combien vaut un point de conversion en euros, sur votre trafic actuel. Sans cette traduction, le MDE reste un chiffre abstrait qui ne dit rien sur la rentabilité du test.
Un gain statistiquement significatif n’est pas automatiquement un gain rentable. Le MDE doit intégrer le coût d’implémentation et le revenu additionnel attendu, pas seulement un seuil arbitraire de 5 % ou 10 %.
Un test à fort trafic mais faible enjeu business passe souvent après un test à trafic modéré mais fort impact revenu.
Conseil de pro : avant de lancer un test, vérifiez la cohérence UX de la variante avec le reste du parcours. Un signal statistique propre ne sert à rien si la variante introduit une friction ailleurs dans le tunnel de conversion.
Ce que j’observe le plus souvent sur le terrain
La plupart des équipes marketing calculent leur taille d’échantillon correctement, puis abandonnent le test au bout de cinq jours parce que « la courbe semble stabilisée ». C’est l’erreur numéro un, et elle vide de son sens tout le travail statistique fait en amont.
La deuxième erreur récurrente : fixer un MDE ambitieux pour aller vite, sans vérifier qu’il correspond à un montant en euros qui justifie l’effort de développement. Un test rapide sur un effet minuscule qui ne rapporte rien reste un test rapide, mais inutile.
Ma recommandation pour les équipes CRO : documentez chaque test dans un pipeline partagé, avec MDE en euros, durée réelle et résultat, même négatif. C’est ce qui construit la crédibilité d’un programme d’expérimentation dans la durée.
— Vincent
Lucioles vous accompagne dans la définition et l’exécution de vos tests A/B
Calculer une taille d’échantillon correcte est une chose. Traduire un MDE en décision business rentable, en tenant compte de votre trafic réel et de vos contraintes techniques, en est une autre. Lucioles est l’alternative à la gestion interne artisanale des tests A/B : nous combinons l’optimisation de la conversion, la conception de Neuropersona© pour cibler les bons MDE dès le départ, et l’instrumentation technique nécessaire pour que chaque test produise un signal exploitable, pas un résultat bruité.
Externaliser cette étape a du sens dès que vos ressources internes passent plus de temps à débattre du MDE qu’à analyser des résultats. Nous intervenons sur l’audit de votre programme d’expérimentation actuel, la priorisation du backlog selon le ROI, et la mise en place d’une optimisation UX du parcours client qui maximise le signal de chaque test. Si vous voulez évaluer où se situent vos plus gros gains potentiels, contactez notre équipe via la page dédiée pour un premier échange sur votre trafic et vos objectifs.
Sources
- Méthodologie A/B test : échantillon, durée et erreurs à éviter | Ron Kopelman
- Calculateur de taille d’échantillon pour test A/B — MiniWebTool
- Paper on sample size calculation for correlated data and relative vs absolute effects — arXiv (2023)
- A/B Test Sample Size: How to Calculate It — Kissmetrics
Questions fréquentes
Quelle est la formule pour calculer la taille d’un échantillon représentatif ?
La formule standard est n = [(zα/2 + zβ)² × (p1(1−p1) + p2(1−p2))] / (p1 − p2)², où p1 est la baseline et p2 le taux cible après application du MDE.
Que faire si mon trafic est trop faible pour atteindre la taille requise ?
Augmentez le MDE pour ne cibler que les effets importants, testez sur des micro-conversions à plus fort volume, ou complétez par des tests qualitatifs pour trianguler le signal.
Pourquoi ne faut-il pas arrêter un test A/B avant la fin prévue ?
Le peeking, c’est-à-dire arrêter un test dès qu’un résultat semble favorable, gonfle fortement le taux de faux positifs et invalide la signification statistique calculée au départ.
