Le jour où la mesure s’est cassée sans rien dire

Il existe une phrase qu’on entend dans toutes les entreprises qui mesurent quelque chose : « les chiffres ont beaucoup baissé en mars ». Dans une proportion notable des cas, l’activité n’a pas baissé du tout — c’est la mesure qui s’est arrêtée, et personne n’a été prévenu.

C’est le défaut le plus coûteux de tout ce domaine, parce qu’il est indiscernable du problème qu’il imite. Une panne de serveur se signale ; une mesure cassée continue de produire des rapports, avec des colonnes remplies, des variations plausibles et des totaux que personne ne peut contester.

Cet article traite de cette plomberie : les six manières dont la mesure se casse, le trafic que vous générez vous-mêmes, la page de paiement qui efface l’origine du client, les liens marqués, les robots, et la vérification de dix minutes qui distingue une baisse d’une panne. L’article qui l’accompagne traite du rapport lui-même — les cinq nombres, leurs définitions, l’attribution, la réunion mensuelle — et rien de cela n’est repris ici.

Il ne contient aucun graphique. Toutes les quantités dont il parle sont des propriétés de votre installation, pas du marché, et l’article qui l’accompagne consacre déjà une section entière à cette impossibilité.

Une part de ce que votre outil compte n’est pas des clients : c’est vous, votre équipe, votre prestataire, et la personne qui vérifie le site trois fois par jour. Sur un site à faible trafic, cette part est loin d’être négligeable et fausse toutes les proportions.

L’effet le plus trompeur n’est pas le volume mais le comportement. Vous consultez des pages que les clients ne consultent pas, vous restez longtemps sur des pages en cours de correction, et vous ne convertissez jamais. Le résultat est un taux de conversion abaissé, des pages populaires qui ne le sont pas, et des durées de lecture qui ne veulent rien dire.

L’exclusion se fait par adresse réseau quand l’entreprise a une connexion fixe, ce qui est le cas le plus simple. Elle est plus délicate quand l’équipe travaille depuis des connexions mobiles, ce qui est fréquent ici : l’adresse change, et le filtre par adresse ne tient pas.

La solution qui marche dans ce cas est un marqueur posé une fois sur les appareils de l’équipe, par une page dédiée que chacun visite une fois. C’est un quart d’heure de mise en place, cela survit aux changements de connexion, et c’est presque toujours la première correction qui rend les chiffres d’un petit site utilisables.

Beaucoup d’entreprises ont plus d’un domaine sans y penser : le site principal, une boutique sur un sous-domaine, une page de prise de rendez-vous chez un prestataire, un formulaire hébergé ailleurs. Pour l’outil de mesure, ce sont des lieux distincts.

Par défaut, un visiteur qui passe de l’un à l’autre est compté deux fois : il termine sa visite sur le premier et en commence une nouvelle sur le second, sans lien entre les deux. Le parcours réel — une seule personne, une seule intention — devient deux visiteurs dont aucun n’a fait le trajet complet.

Cela produit deux erreurs simultanées et de sens contraire, ce qui les rend difficiles à repérer. Le nombre de visiteurs est gonflé, et le taux de conversion du premier domaine est effondré, puisque la conversion a eu lieu sur le second. Les deux chiffres sont faux et ils ne se contredisent pas visiblement.

Le réglage qui règle cela existe et consiste à déclarer que ces domaines forment un seul ensemble. Il faut le poser au moment où le deuxième domaine apparaît, ce qui est rarement fait, parce que ce jour-là on installe une boutique et personne ne pense à la mesure.

Tout ce qui précède se ramène à un contrôle mensuel court, et son intérêt est qu’il détecte une panne pendant qu’elle coûte encore peu. Une mesure cassée découverte au bout d’un mois coûte un mois ; découverte au bout d’un an, elle coûte la capacité de comparer quoi que ce soit à l’année précédente.

Quatre gestes, dans cet ordre. Ouvrir le rapport en temps réel et charger votre site depuis un téléphone : vous devez vous y voir apparaître. Passer une commande ou remplir le formulaire de test et vérifier que la conversion est enregistrée, avec la bonne source. Comparer le nombre de commandes de l’outil avec celui de votre logiciel de gestion. Et regarder la liste des sources pour voir si une nouvelle absurdité y est apparue.

Le troisième geste est le plus important et le plus négligé. Deux systèmes qui comptent la même chose et qui divergent est le signal le plus fiable dont vous disposiez, et c’est précisément le contrôle que personne ne fait parce qu’il demande d’ouvrir deux outils au lieu d’un.

Comme pour tout contrôle périodique, ce qui décide n’est pas la méthode mais l’ancrage. Attachez-le à un moment qui existe déjà — la clôture du mois, la réunion mensuelle que l’article qui accompagne celui-ci décrit — sinon il sera fait deux fois puis oublié, et cette page n’aura rien changé.

Ce que nous prenons en charge est délimité : l’inventaire de ce qui est réellement installé, la correction des six causes quand elles sont présentes, la convention de marquage des liens, la liste d’exclusion des domaines de paiement, et la première vérification mensuelle faite avec vous.

Nous n’installons pas un deuxième outil de mesure à côté d’un premier qui ne fonctionne pas. C’est la proposition qui se vend le plus facilement — un outil neuf, un tableau de bord neuf — et elle laisse la panne en place tout en ajoutant une source de désaccord : deux outils qui comptent différemment produisent des réunions sur la question de savoir lequel a raison, ce qui est du temps volé à l’activité.

Nous ne reconstituons pas les données d’une période qui n’a pas été mesurée. C’est la demande que toute panne découverte produit, et elle n’a pas de réponse honnête : ce qui n’a pas été enregistré n’existe nulle part, et une estimation présentée dans un rapport devient au bout de six mois un chiffre que quelqu’un cite. Nous marquons la période comme non mesurée et nous la laissons visible.

Enfin, nous ne promettons pas que la mesure sera exacte. Elle ne l’est jamais : le blocage publicitaire, les refus de consentement et les navigateurs qui limitent le suivi font qu’une partie des visiteurs ne sera pas comptée, et c’est une propriété du web actuel plutôt qu’un défaut d’installation. Ce que nous pouvons obtenir est une mesure cohérente dans le temps — comparable avec elle-même — et cela suffit à décider, ce que l’exactitude absolue n’apporterait pas.