Un an de changements, aucun test : le journal qui les rend lisibles

L’article qui accompagne celui-ci démontre que la plupart des sites algériens n’ont pas le trafic nécessaire pour conclure quoi que ce soit d’un test A/B. Il le démontre bien, et il laisse ensuite le lecteur devant une question qu’il n’a pas tout à fait le temps de traiter : alors comment décide-t-on ?

La réponse tient dans un fichier. Pas un outil, pas une plateforme : une ligne par changement, avec sa date. C’est le seul instrument disponible à ce volume, et il est meilleur que sa réputation.

Attention à ce qu’il est. Ce n’est pas un test au rabais et il ne répond pas à la question d’un test. Il ne dit jamais « cette version gagne » ; il dit « voici ce que nous avons fait, quand, et ce qui s’est passé ensuite », et cette phrase-là est celle qu’aucun outil de mesure ne prononcera jamais à votre place.

Cet article décrit la forme de la ligne, le moment où elle s’écrit, la manière de lire une année, et — c’est le plus important — les trois choses que ce registre ne prouvera pas, afin que personne ne lui fasse dire davantage.

C’est la seule règle de tenue qui décide de la valeur du document, et c’est celle qui n’est jamais respectée.

Un registre rempli le vendredi pour la semaine écoulée contient déjà des erreurs de date. Rempli en fin de mois, il ne contient plus que les changements dont quelqu’un se souvient, c’est-à-dire les gros — et les petits sont précisément ceux qu’on cherchera dans un an.

La reconstitution ne fonctionne pas, et ce n’est pas une question de discipline. Personne ne se rappelle si le formulaire a été raccourci avant ou après le changement de photo, et l’ordre est justement l’information.

La contrainte pratique est donc que l’écriture doit coûter moins de trente secondes, sinon elle est reportée puis oubliée. Un fichier partagé ouvert en permanence, ou un carnet à côté de l’écran : la sophistication du support est ici l’ennemi de sa tenue.

Une manière simple d’y arriver : la ligne s’écrit avant la modification plutôt qu’après. Le changement n’est pas considéré comme fait tant qu’il n’est pas inscrit, exactement comme une sortie de stock.

Trois choses, et il faut les dire avant que quelqu’un ne fasse dire au document plus qu’il ne contient.

Il ne prouve pas la causalité. Une hausse après un changement reste une coïncidence possible, et sur un petit volume elle l’est souvent. Le registre établit une chronologie, ce qui est nécessaire à une explication et n’en est jamais une.

Il ne mesure pas une amplitude. « La conversion est passée de trois à quatre pour cent » ne veut rien dire à quelques dizaines de visites par jour, pour la raison que l’article compagnon développe en détail. Le registre sert à savoir quoi regarder, pas à chiffrer un gain.

Il ne départage pas deux options. S’il faut choisir entre deux formulations et que la décision est réversible, le registre ne vous aidera pas : prenez-en une, notez-la, et passez à autre chose. Le coût d’une longue délibération dépasse ici le coût d’une erreur.

Ces trois limites ne sont pas des faiblesses à excuser. Un document dont on connaît exactement la portée est utilisable en réunion ; un document dont on exagère la portée est retourné contre vous à la première occasion par quelqu’un qui a lu la même chronologie autrement.

C’est l’argument que les dirigeants entendent le plus vite, parce que la plupart l’ont vécu.

L’article compagnon rapporte le cas d’un même site où le prix affiché a été retiré puis réaffiché puis retiré, trois fois en quelques années, chaque fois par un prestataire différent et chaque fois avec conviction. Personne ne mentait : personne ne savait.

Un registre rompt ce cycle pour une raison mécanique. La personne qui arrive le lit en vingt minutes et découvre que son idée a déjà été essayée, quand, et ce qui a suivi. Sans lui, elle propose ce qu’elle proposerait sur n’importe quel site.

Deux conditions pour que cela fonctionne, et elles sont administratives plutôt que méthodologiques. Le fichier doit être chez vous, sur un espace que vous contrôlez, et pas dans l’outil du prestataire. Et il doit être remis à jour comme une condition de la prestation, pas comme une faveur.

Nous l’écrivons dans nos contrats pour cette raison, et nous suggérons que vous l’écriviez dans tous les autres. Une clause d’une ligne : le registre est mis à jour à chaque intervention et reste la propriété du client.

Ce que nous faisons est court. Nous ouvrons le fichier avec vous, aux cinq colonnes décrites plus haut, nous y inscrivons les changements que nous faisons nous-mêmes le jour où nous les faisons, et nous relisons l’année avec vous une fois par an, à la même date.

Nous refusons d’appeler un changement séquentiel un test, dans un rapport comme dans une réunion. Le mot est précis et il est utilisé pour donner du poids à une observation qui n’en a pas ; l’article compagnon explique ce que le mot engage, et l’emprunter serait vendre une rigueur que la méthode n’a pas.

Nous refusons aussi de garder le registre chez nous. C’est la demande naturelle — cela nous rendrait plus difficiles à remplacer — et c’est exactement la raison de refuser : un document dont la valeur est de survivre au prestataire ne peut pas être hébergé par le prestataire.

Et il y a une chose que vous pouvez faire ce matin sans nous, qui est le seul geste vraiment urgent de cet article : ouvrir le fichier et écrire la première ligne, datée d’aujourd’hui. Tout ce qui précède aujourd’hui est perdu, et rien ne le récupérera — ce qui est précisément pourquoi cette page ne contient aucun graphique.