Tests A/B : ce que votre trafic vous autorise à conclure

L’article sur le taux de conversion pose la limite et celui sur les pages d’atterrissage y renvoie : comparer deux versions demande un volume que la plupart des sites algériens n’ont pas. Cette page part de là.

Un test n’est pas une opinion départagée par des chiffres. C’est une procédure qui répond à une question étroite — cette différence est-elle réelle ou due au hasard — et qui ne répond à rien d’autre. Employée hors de son domaine, elle produit des décisions au hasard présentées comme une méthode.

Le domaine est défini par le volume. En dessous, on n’obtient pas un résultat faible : on obtient un résultat qui n’en est pas un, et l’expérience montre qu’il est toujours interprété comme une victoire par quelqu’un.

Cet article dit comment savoir de quel côté de la limite vous êtes, ce qu’il faut faire de chaque côté, et pourquoi nous ne publierons pas le chiffre que tout le monde demande — parce que ce chiffre n’existe pas indépendamment de vous.

Le défaut le plus destructeur n’est pas le manque de volume, c’est la consultation quotidienne. Un test regardé tous les jours finit toujours par afficher un écart, parce que le hasard produit des écarts en permanence.

Le mécanisme est facile à sentir : si vous jetez une pièce cent fois et que vous vous arrêtez au moment où pile mène de six, vous avez fabriqué une preuve que la pièce est truquée. C’est exactement ce que fait un tableau de bord consulté tous les matins.

La règle est donc de fixer la durée et le volume avant de lancer, de ne rien décider avant, et de ne pas arrêter parce qu’une version a pris de l’avance. La discipline est plus importante ici que dans n’importe quelle autre partie de ce pilier.

La deuxième règle du même ordre est de ne pas relancer un test perdu en espérant mieux. Répéter jusqu’à obtenir le résultat souhaité est la même erreur, étalée sur plusieurs semaines et beaucoup plus difficile à repérer dans un rapport.

Une conséquence désagréable pour une agence : la plupart des tests honnêtes se terminent sans gagnant. Un rapport qui annonce systématiquement un gagnant décrit une pratique de lecture, pas une série de découvertes.

Une particularité locale rend les comparaisons dans le temps encore moins fiables qu’ailleurs, et c’est la raison pour laquelle nous insistons sur les groupes simultanés plutôt que sur les périodes successives.

Le trafic et le comportement d’achat se déplacent avec Ramadan et l’Aïd, avec la semaine de paie, avec la rentrée scolaire, avec les périodes de soldes réglementées et avec les saisons de votre métier. Ces mouvements sont grands, et ils sont plus grands que la plupart des effets que vous cherchez à mesurer.

La conséquence est directe : comparer cette semaine à la semaine dernière n’est pas un test, c’est une observation de saison. Nous voyons régulièrement des résultats de « + 40 % » qui décrivent la semaine de paie et rien d’autre.

La seule protection est la simultanéité : les deux versions tournent en même temps, sur le même trafic, réparti au hasard. Toute la valeur de la méthode tient dans cette phrase, et elle est ce qui la distingue d’un avant-après.

Et pour les périodes vraiment particulières — les deux semaines avant l’Aïd, par exemple — la bonne décision est souvent de ne pas tester du tout. Ce que vous apprendriez décrirait une situation qui ne revient pas avant un an.

Le livrable durable de cette prestation n’est pas un test, c’est un registre. Une page par ligne : la date, ce qui a été changé, sur quelle page, pourquoi, et ce qu’on a observé ensuite.

Sans ce document, une entreprise refait les mêmes modifications tous les dix-huit mois, au rythme des changements de prestataire. Nous l’avons vu trois fois sur le même site : le prix affiché puis retiré puis réaffiché, chaque fois avec conviction.

Le registre sert aussi à interpréter les mesures. Une chute de conversion en mars n’a pas la même explication si le formulaire a changé le 3 mars, et cette information n’existe nulle part ailleurs — ni dans l’outil de mesure, ni dans la mémoire de qui que ce soit.

Il doit contenir les échecs autant que les réussites, et surtout les tests non concluants. Un test qui n’a rien montré est une information réelle : il dit que l’écart, s’il existe, est plus petit que ce que vous pouvez détecter.

Deux lignes par entrée suffisent. Ce qui compte est que le fichier existe, qu’il soit chez vous, et qu’il survive au départ de la personne qui l’a commencé.

Ce que nous refuserons : lancer un test sur un site dont le volume ne permet pas de conclure. C’est un refus fréquent, il est mal reçu, et l’alternative que nous proposons est moins chère — ce qui n’aide pas à le faire accepter.

Nous refuserons d’arrêter un test parce qu’une version a pris de l’avance, et de relancer un test perdu en espérant mieux. Les deux fabriquent des gagnants, et un rapport qui annonce toujours un gagnant décrit une pratique de lecture.

Nous refuserons de présenter un résultat en pourcentage sans les nombres absolus, et de conclure sur un sous-groupe qui n’avait pas été décidé avant le lancement.

Ce que nous faisons : le calcul préalable qui dit de quel côté de la limite vous êtes ; la file d’attente des corrections évidentes quand la réponse est non ; des tests de trois semaines complètes sur l’offre plutôt que sur la forme ; le résultat mesuré sur la commande acceptée ; et le registre des changements, tenu chez vous.

Et ce que vous pouvez faire cette semaine sans nous : prenez le nombre de commandes acceptées du mois dernier et divisez-le par deux. Regardez ce nombre. Si vous n’êtes pas prêt à bâtir une décision dessus, vous venez d’apprendre que la prochaine dépense utile n’est pas un test.