Choisir un gagnant ou optimiser sans fin : deux façons dont un test A/B peut décider

Tous les outils de test A/B posent la même question : quelle version a gagné ? Mais cette question peut vouloir dire deux choses différentes, qui appellent deux types de test différents. Parfois, il vous faut une réponse — une refonte bat l’ancienne page ou non, vous en mettrez une en ligne et vous passerez à autre chose. Parfois, il vous faut un gestionnaire — la bannière principale va tourner toute l’année, la meilleure version en janvier n’est pas la meilleure en juillet, et personne ne reviendra la retester chaque trimestre. Personyze exécute les deux types depuis la même campagne, et le réglage qui choisit entre les deux s’appelle Comment ce test décide. Cet article explique ce que fait réellement chaque mode, ce qu’il vous coûte et comment choisir.

Le même test, tranché de deux façons. À gauche, la répartition reste fixe jusqu’à ce qu’une version fasse ses preuves, puis la gagnante récupère le trafic testé. À droite, la répartition bouge un peu chaque nuit et ne s’arrête jamais.

Deux questions, deux types de test

Un test A/B classique est une expérience. Vous fixez la répartition, vous attendez, vous obtenez un verdict assorti d’un niveau de confiance, et le test est terminé. Cette équité est tout l’intérêt : comme la répartition n’a jamais bougé, la comparaison est propre et vous pouvez montrer à n’importe qui pourquoi vous avez tranché. Le prix à payer, c’est que la version perdante continue de recevoir toute sa part de trafic jusqu’à la fin, et que le verdict ne vaut que pour la période durant laquelle le test a tourné.

L’autre type de test est ce que les statisticiens appellent un bandit : au lieu d’attendre pour décider, il ne cesse de redécider. Chaque nuit, il regarde ce qui s’est passé récemment et donne un peu plus de trafic à la version la plus performante du moment, tout en réservant toujours une part pour continuer à apprendre. Il ne rend jamais de verdict, parce qu’il n’en a jamais besoin. Le prix à payer, c’est que la répartition a toujours quelques jours de retard sur la réalité, et que la comparaison n’est pas assez propre pour être publiée comme un résultat. Ce n’est pas un problème si le but n’a jamais été un résultat.

Choisir un gagnant à la significativité : l’expérience

Dans ce mode, le trafic reste tel que vous l’avez réglé pendant que les versions s’affrontent sur vos objectifs, et le test se termine quand l’une d’elles a fait ses preuves. « Faire ses preuves » se traduit par quatre seuils, et Personyze les livre plus stricts que la plupart des outils.

• Un ou plusieurs objectifs. Le premier objectif choisi est l’objectif principal ; l’état de préparation et la désignation du gagnant le suivent. Un test qui optimise les clics et un test qui optimise le chiffre d’affaires ne sont pas toujours d’accord, vous indiquez donc celui que vous visez.
• Confiance, sessions, durée. Trois préréglages fixent les trois à la fois : Prudent à 99 % de confiance, 5 000 sessions et 21 jours ; Équilibré à 95 %, 1 000 sessions et 14 jours ; Rapide à 90 %, 500 sessions et 7 jours. Ou saisissez vos propres valeurs. La durée minimale empêche un bon mardi de gagner un mardi.
• Une amélioration minimale. Prudent exige au moins 1 % de lift, Équilibré 0,5 %. Une version en tête d’une marge statistiquement réelle mais commercialement insignifiante n’est pas promue.
• Un groupe témoin, si vous le souhaitez. Donnez sa propre part au site non modifié — deux versions à 45 % et 10 % réservés — et le lift que vous communiquez est celui que vous avez provoqué, pas le lift par rapport à une supposition.

Quand la barre est franchie, la gagnante est promue : tout le trafic testé, la part que vous désignez, ou rien du tout si vous préférez recevoir un e-mail et décider vous-même. Un groupe témoin que vous avez conservé reste réservé, pour que la campagne puisse encore être mesurée après la décision. Ensuite, c’est terminé, et c’est exactement ce que vous attendiez.

IA : optimiser en continu : le gestionnaire

Dans ce mode, rien ne se termine. Chaque nuit, une passe note chaque version sur ce qui s’est passé récemment et rééquilibre la répartition vers celle qui performe le mieux maintenant. Trois propriétés permettent de le laisser tourner sans risque.

• Le trafic récent compte le plus. Les vues et les clics perdent de leur poids avec une demi-vie de 28 jours, et tout ce qui a plus de 84 jours est écarté. Une version qui était la meilleure il y a deux mois peut perdre aujourd’hui, et c’est bien l’idée : il remarque quand la saison change.
• Il ne bouge qu’avec une confiance statistique. Chaque version reçoit une chance d’être la meilleure, issue de milliers de rejeux simulés des données. Des chiffres presque égaux signifient que les données ne distinguent pas encore les versions, et la répartition reste alors immobile. Il refuse aussi de calculer quoi que ce soit en dessous de quelques centaines de vues pondérées, car un bandit sur une poignée de sessions n’est qu’un générateur de nombres aléatoires qui garde son sérieux.
• 10 % toujours en exploration. Un dixième du trafic est réparti à parts égales entre les versions chaque nuit, quoi qu’il arrive. Une version perdante continue d’obtenir les données qui pourraient la réhabiliter, aucune version n’est jamais ramenée à zéro, et une coupure de données ne peut pas figer une version à 100 %.

Ce que fait la passe nocturne, dans l’ordre. La dernière étape est la seule qui touche la diffusion, et elle n’écrit que si la répartition recommandée diffère de l’actuelle d’au moins trois points.

Deux autres règles consistent à respecter ce que vous avez réglé. Une version que vous avez mise à 0 % est votre décision, pas une donnée, et elle reste à 0 % ; lui redonner une part à la main est ce qui la réintègre. Et l’optimiseur ne réalloue que le trafic déjà attribué par la répartition — une campagne qui réserve 10 % au site non modifié continue de les réserver.

Une limite honnête : le mode continu note l’interaction — clics ou mieux, rapportés aux vues confirmées, un clic suivi d’une conversion comptant toujours — parce que c’est le signal que les contenus toujours actifs produisent en volume, chaque jour. Si ce qui vous importe est le chiffre d’affaires par session sur une modification du checkout, c’est une question pour l’expérience, orientée vers cet objectif.

Lequel choisir ?

Une règle empirique qui a fait ses preuves : si vous auriez honte d’être encore en train de le tester le trimestre prochain, choisissez un gagnant. Si vous auriez honte d’avoir arrêté, optimisez en continu. Une page tarifs relève du premier groupe. Une bannière de page d’accueil relève du second. Et vous pouvez changer d’avis : le mode est un réglage de la campagne, appliqué à l’enregistrement, et la même campagne peut d’abord tourner comme une expérience puis être confiée à l’optimiseur une fois qu’elle fait partie du décor.

Il existe une option hybride à connaître. Le mode expérience propose de déplacer progressivement la rotation vers le gagnant probable pendant le test. Il arrive plus vite à une décision, au prix d’une partie de la rigueur qui faisait la valeur de l’expérience. Utilisez-le pour les tests urgents, pas pour ceux que vous devrez défendre.

La troisième lecture : par audience

Les deux modes partagent une lecture que la plupart des outils n’ont pas du tout. La fonctionnalité Audience Discovery de Personyze explore vos données visiteurs à la recherche des groupes qui convertissent bien au-dessus ou en dessous de la moyenne, et le test est noté séparément dans chacune de ces audiences : le taux par version, la version en tête et le degré de certitude.

Les verdicts par audience d’un test en cours. Une version peut gagner sur l’ensemble du site et perdre auprès des visiteurs arrivés en direct, et les lignes le disent, avec le degré de certitude de chaque verdict.

Cela change ce qu’est un « gagnant ». B a gagné au total, mais A a gagné auprès des visiteurs sur téléphone avec 86 % de certitude. Dans un outil qui ne rapporte que le total, vous mettez B en ligne et dégradez sans le savoir l’expérience sur téléphone. Ici, le rapport nomme le désaccord, et l’éditeur de campagne l’affiche sur chaque test, quel que soit le mode de décision.

Ce qu’il faut en faire est volontairement simple aujourd’hui : la campagne sert toujours une seule répartition à tout le monde, donc pour agir sur un gagnant par audience, vous ciblez une copie de la campagne sur cette audience avec sa version gagnante. Les audiences découvertes forment une catégorie dans le sélecteur de règles de la campagne : c’est l’affaire de quelques clics. Servir automatiquement une répartition différente par audience figure sur la feuille de route, et la notation par audience est ce qui la pilotera.

Mise en place

1. À l’étape Contenu de la campagne, ajoutez vos versions comme groupes de rotation et réglez la répartition. Laissez au Site original une part si vous voulez un groupe témoin.
2. Choisissez comment les visiteurs sont affectés. Rotation des utilisateurs garde un visiteur sur la même version à chaque visite et constitue le bon choix par défaut ; Visites réaffecte chaque visite, pour les bannières et les titres dont on mesure l’impression.
3. Sous Objectifs, choisissez un ou plusieurs objectifs ; le premier est le principal.
4. Sous Comment ce test décide, choisissez Choisir un gagnant à la significativité et un préréglage, ou IA : optimiser en continu. Enregistrez.
5. Lisez le résultat à l’étape Performance. En mode continu, le tableau affiche les vues, les clics, la chance d’être la meilleure, la répartition actuelle et la répartition recommandée ; en dessous, la version qui gagne dans chaque audience.

• Tests A/B et multivariés — la page de la fonctionnalité, avec l’éditeur présenté étape par étape.
• Audience Discovery — d’où vient la lecture par audience.
• Comment un moteur de personnalisation décide — la place des tests parmi les autres couches.