Mesurer la transcription en darija : le protocole, et le chiffre que nous ne publions pas

La mesure standard s’appelle le taux d’erreur sur les mots. On compte, entre la transcription automatique et la référence humaine, les mots substitués, les mots supprimés et les mots insérés, et on divise ce total par le nombre de mots de la référence.

Elle a deux propriétés qu’il faut avoir en tête. Elle peut dépasser cent pour cent, parce qu’un système bavard insère plus de mots qu’il n’y en avait. Et elle traite toutes les erreurs comme équivalentes : confondre deux mots outils et se tromper sur un numéro de commande comptent pareil.

C’est cette seconde propriété qui la rend trompeuse pour un usage professionnel. Un système qui transcrit tout correctement sauf les noms et les références aura un taux flatteur et sera inutilisable, parce que les mots qu’il rate sont exactement ceux qui déclenchent une action.

Il en découle une manière de lire les taux publiés par d’autres, quand il y en a. La première question n’est pas « combien » mais « sur quoi » : quel échantillon, quelle langue exactement, quelle référence, quelle date. Un taux dont ces quatre réponses manquent ne se compare pas au vôtre, et le citer revient à emprunter la conclusion de quelqu’un sans son expérience.

Le taux reste utile pour comparer deux systèmes sur la même bande son. Il ne dit pas si un système est assez bon pour votre usage — ce sont deux questions différentes, et la seconde se mesure autrement.

La référence humaine est la partie coûteuse et c’est elle qui décide de la valeur du reste. Elle demande quelqu’un dont la darija est celle de vos clients — pas seulement quelqu’un qui parle arabe.

La consigne donnée au transcripteur doit être écrite et courte : transcrire ce qui est dit et non ce qui aurait dû l’être, garder les répétitions et les hésitations, ne rien corriger, marquer les passages inaudibles plutôt que de les deviner. Un transcripteur qui améliore le texte fabrique une référence que même un système parfait ne peut pas atteindre.

Le rythme mérite d’être annoncé pour que le budget ne surprenne personne : transcrire de la parole spontanée prend plusieurs fois la durée de l’audio, davantage encore quand la ligne est mauvaise et qu’il faut réécouter. Trente conversations ne se transcrivent pas dans une matinée, et une équipe à qui l’on promet le contraire produit une référence bâclée, ce qui ruine la mesure plus sûrement qu’un mauvais modèle.

La double saisie est la précaution qui vaut son coût sur une partie de l’échantillon : deux personnes transcrivent les mêmes cinq appels indépendamment, et l’on mesure leur désaccord. Ce chiffre est la borne inférieure de votre mesure — aucun système ne peut faire mieux que l’accord entre deux humains sur la même bande.

Cette borne est aussi ce qui rend une comparaison honnête. Un écart entre deux modèles plus petit que le désaccord entre vos deux transcripteurs ne prouve rien, et c’est le résultat que la plupart des comparaisons publiées ne rapportent jamais.

Une comparaison n’a de sens qu’à conditions identiques, et la liste de ce qui doit être identique est plus longue qu’on ne croit : le même audio, la même normalisation, la même période, et la même absence de dictionnaire personnalisé.

Ce dernier point mérite d’être insisté. Un système auquel on a fourni la liste de vos produits et de vos quartiers n’est plus comparable à un système brut, et la différence mesurée est celle de la liste, pas celle du modèle. Cette couche de rapprochement est d’ailleurs souvent la bonne solution — mais alors elle se mesure séparément, comme une amélioration appliquée au meilleur système.

Le résultat honnête d’une comparaison est donc rarement « le système A est meilleur ». Il est plutôt : sur ce type d’appels, dans ces conditions, à cette date, A perd moins d’éléments décisifs que B, et l’écart dépasse le désaccord entre nos transcripteurs.

Il y a enfin une demande à adresser au fournisseur, et une seule vaut d’être faite : la version exacte du système utilisé, avec sa date. Beaucoup répondront qu’ils ne la communiquent pas, ce qui est déjà une information — cela signifie que votre mesure ne sera pas reproductible chez eux, et que la dégradation d’un jour à l’autre ne pourra jamais leur être opposée.

Notez la date en toutes lettres dans le tableau. Les modèles de transcription changent sans préavis et sans changer de nom, et un tableau sans date décrit un état du monde qui n’existe plus.

Le protocole complet demande une journée de travail et un accord juridique. Il existe une version en une heure qui ne donne pas de taux d’erreur mais répond à la question « est-ce que ça vaut la peine d’aller plus loin ».

Prenez vingt appels récents. Écoutez-les en notant seulement, pour chacun, les éléments décisifs prononcés — le nom, le numéro, la quantité. Faites transcrire les mêmes vingt par le système que vous envisagez. Comptez combien de ces éléments sont corrects.

Vous n’obtenez pas une mesure comparable à quoi que ce soit, et ce n’est pas le but. Vous obtenez la seule information qui décide à ce stade : la proportion des informations qui déclenchent une action et qui arrivent intactes.

Si elle est mauvaise, aucun réglage ne la sauvera et le protocole complet est une dépense inutile. Si elle est bonne, vous savez que la mesure sérieuse vaut la journée qu’elle coûte, et vous savez déjà quels appels y mettre.