Entraîner un modèle : les trois cas où ça vaut la peine

« Vous pourriez l’entraîner sur nos données ? » Cette phrase revient dans la première réunion sur deux, et elle demande une chose différente de ce que celui qui la prononce imagine. Elle est prononcée pour obtenir des réponses justes ; l’entraînement, lui, agit surtout sur la manière de répondre.

La confusion coûte cher parce qu’elle oriente le budget vers l’outil le plus lourd de la boîte, alors que le résultat espéré s’obtient presque toujours autrement, plus vite et pour une fraction du prix.

Cet article dit ce qu’un entraînement change réellement, ce qu’il faut lui fournir — des exemples écrits par vous, pas des documents — et les trois situations où il est le bon instrument. Il dit aussi ce qu’il fige, ce qui est la partie que personne n’aborde avant la signature.

On n’entraîne pas un modèle avec vos PDF. On l’entraîne avec des paires : une demande d’un côté, la réponse que vous auriez voulu voir de l’autre. Des centaines de paires, écrites ou validées par quelqu’un qui sait ce qu’est une bonne réponse chez vous.

C’est le point où la plupart des projets s’arrêtent, et il vaut mieux qu’ils s’arrêtent là qu’après la facture. Une entreprise qui a dix ans d’archives a beaucoup de documents et presque aucune paire, parce que personne n’a jamais eu de raison d’écrire la mauvaise version à côté de la bonne.

Il existe une exception qui vaut d’être cherchée avant de renoncer : vos conversations de service client, si elles sont conservées, sont déjà des paires. Une question de client, une réponse d’un employé. Elles demandent un tri sérieux — les mauvaises réponses en font partie — mais elles existent.

Une paire doit en outre porter ce que l’employé avait sous les yeux au moment de répondre. Une bonne réponse qui suppose un dossier ouvert, un stock consulté ou une conversation de la veille apprend au modèle à produire cette réponse sans ce contexte, c’est-à-dire à deviner. C’est le tri le plus fastidieux de la collecte et celui qu’on ne peut pas déléguer, parce qu’il demande de se souvenir de ce qu’on savait ce jour-là.

La conséquence pratique est que le coût principal d’un entraînement n’est pas le calcul, qui se compte en heures de machine. C’est le temps de vos gens, et il se compte en semaines.

Les modèles disponibles écrivent un français et un anglais excellents, un arabe standard correct, et une darija qui trahit immédiatement qu’elle vient d’ailleurs. Pour une entreprise dont les clients écrivent en darija, cet écart n’est pas un détail de style : il décide si la réponse est lue.

C’est le cas où l’entraînement fait un travail qu’aucune consigne ne fait, parce qu’on ne décrit pas un registre — on le montre. Il partage cette propriété avec le premier cas : ce qui manque est une forme, et une forme s’apprend par imitation.

La collecte est ici plus lourde qu’ailleurs et ce que la darija ajoute au travail est traité en entier ailleurs sur ce blog. Le résumé utile : les exemples doivent venir de vos vraies conversations, et l’orthographe doit rester celle que vos clients emploient, y compris quand elle est irrégulière.

Il y a un piège propre à ce cas et il concerne l’orthographe. La darija s’écrit de plusieurs façons selon la région, l’âge et le clavier, et un jeu d’exemples constitué à partir d’une seule source enseigne une seule de ces façons. Le modèle devient excellent pour une partie de vos clients et étranger pour une autre, ce qui est plus difficile à repérer qu’une mauvaise darija uniforme.

La limite honnête est qu’un entraînement améliore le registre et ne crée pas la compréhension. Un modèle qui écrit mieux en darija ne comprend pas mieux une demande ambiguë en darija, et c’est une déception fréquente parce que les deux se ressemblent de l’extérieur.

Si vous ne deviez emporter qu’une chose d’un projet d’entraînement, ce serait le jeu de paires. Il est réutilisable avec n’importe quel modèle, chez n’importe quel fournisseur, dans cinq ans, et il représente la totalité du travail que vos équipes ont fourni.

Le modèle, lui, se périme. Il est lié à une base, à une version, parfois à une plateforme, et sa valeur décroît à mesure que la base vieillit. Confondre les deux conduit à protéger le mauvais objet.

Cela a une conséquence contractuelle simple et souvent absente des devis : le jeu d’exemples doit vous être livré, dans un format ouvert, et il doit vous appartenir sans restriction. Un prestataire qui conserve les paires conserve le seul actif durable du projet.

Il y a une raison supplémentaire de les tenir, et elle est de vérification. Un modèle entraîné ne peut pas être interrogé sur ce qu’il a appris : il n’existe aucune façon de lui demander la liste. Les paires sont donc le seul document lisible de ce que le système a été mis à apprendre, et le seul endroit où une erreur d’enseignement peut être trouvée avant d’être observée dans une réponse.

Cela a aussi une conséquence interne. Ce jeu se tient, comme une documentation se tient : quand une réponse type change chez vous, la paire correspondante change, sans quoi le prochain entraînement réapprendra l’ancienne.

Nous commençons par mesurer ce qu’une consigne bien écrite obtient déjà, sur vos cas, avant de parler d’entraînement. Cette mesure prend deux jours et elle a écarté le projet plus souvent qu’elle ne l’a confirmé, ce qui est le résultat qu’elle est censée produire.

Quand l’entraînement est justifié, nous constituons les paires avec vos équipes plutôt qu’à leur place, nous mettons de côté le jeu d’évaluation avant de commencer, et nous vous livrons les deux — les paires et les notes — dans un format que vous pouvez emporter chez un autre.

Nous refusons de fabriquer les exemples avec un modèle. Cela donnerait un jeu propre et rapide, et il apprendrait à votre système à imiter une machine, ce qui est l’inverse exact de ce que vous achetez.

Nous refusons également d’annoncer un gain avant d’avoir la première mesure. Ce que vous pouvez faire sans nous est justement cette mesure : cent cas réels, la sortie actuelle, et votre jugement sur chacune. C’est une journée, et elle décide du reste.