Faire tourner un modèle sur votre machine : les trois nombres qui décident

On vous propose une machine, et le devis parle de milliards de paramètres, de quantification et de fenêtre de contexte. Ces trois mots décident si l’installation fonctionnera, et ils ne figurent presque jamais dans la même phrase que le prix.

Ce sont pourtant trois nombres, ils se multiplient entre eux, et le calcul tient en une ligne. Une personne qui n’a jamais ouvert une machine peut le faire en cinq minutes et savoir si la proposition est sérieuse avant d’engager quoi que ce soit.

Cet article donne les trois nombres, le calcul, et ce qui arrive quand le résultat ne rentre pas — parce que rien ne s’arrête, tout ralentit, et un ralentissement n’a l’air de la faute de personne. Il n’aborde pas le choix entre héberger et appeler, qui est traité en entier ailleurs, ni ce que le modèle fera une fois installé.

Chaque paramètre est stocké dans un format, et le format se compte en bits. Seize bits font deux octets, ce qui donne la règle de base : un modèle de sept milliards de paramètres en seize bits occupe environ quatorze gigaoctets. C’est une définition, pas une mesure — deux octets par paramètre, multipliés par le nombre de paramètres.

La quantification consiste à réduire ce format : huit bits, six, quatre. À quatre bits, le même modèle descend vers quatre gigaoctets et tient sur une carte grand public. C’est la manœuvre qui rend l’installation locale possible, et elle est employée presque partout.

Elle n’est pas gratuite. Réduire la précision dégrade la qualité des réponses, faiblement au début et nettement en dessous d’un certain point, et la dégradation ne se manifeste pas par des erreurs franches : elle se manifeste par des réponses un peu plus plates, un peu moins exactes sur les cas difficiles, et sur les langues moins bien représentées — dont l’arabe.

La dégradation se vérifie sans matériel : prenez dix de vos questions les plus difficiles, faites-les passer dans les deux formats chez le fournisseur, et lisez les vingt réponses côte à côte. Si vous ne voyez pas de différence sur vos cas, le format réduit est le bon choix et il vous fait économiser une carte.

Rien de tout cela n’est un argument contre la quantification, qui est un excellent compromis. C’est un argument pour que le format soit écrit dans le devis, et pour que la comparaison entre deux propositions se fasse à format égal.

Rien ne s’arrête. C’est la partie qu’il faut connaître avant d’acheter, parce qu’elle explique la plupart des déceptions : lorsque le modèle dépasse la mémoire de la carte, le système déporte le surplus vers la mémoire de la machine, et cela fonctionne.

Cela fonctionne dix à cinquante fois plus lentement. Une réponse qui prenait deux secondes en prend une minute, et rien dans le système ne signale une erreur, parce qu’il n’y en a pas : le calcul se fait, ailleurs, plus lentement.

Le symptôme est donc « c’est lent », qui est la plainte la plus difficile à diagnostiquer parce qu’elle a vingt causes possibles. Elle est mise sur le compte du réseau, du modèle, du fournisseur, de la machine en général — et la cause est un dépassement de quelques gigaoctets qu’un calcul de deux minutes aurait annoncé.

La confirmation prend dix minutes et n’exige aucune compétence particulière : on ouvre l’outil de suivi de la carte, on pose une question, et on regarde si la mémoire vidéo se remplit jusqu’au plafond pendant que la réponse se fabrique. Si elle y colle, la cause est là. C’est un geste que la personne qui a installé la machine peut vous montrer une fois, après quoi vous saurez le refaire.

C’est aussi pourquoi une démonstration réussie ne prouve rien sur la configuration livrée. Demandez sur quelle carte la démonstration tourne, et avec quel format. Deux questions, et elles séparent une démonstration honnête d’une démonstration faite ailleurs.

Une machine dans vos locaux règle une question réelle : vos textes ne partent pas chez un tiers. C’est un motif suffisant à lui seul pour certains dossiers, et c’est le seul motif que nous acceptons sans discuter.

Elle ne règle pas la mise à jour, la sauvegarde, ni l’accès. Un serveur sous un bureau, accessible par un compte partagé, sans correctifs et sans copie ailleurs, est moins protégé qu’un service distant tenu par des gens dont c’est le métier. La localisation n’est pas une mesure de sécurité, c’est une réponse à une question de destination.

Elle ne dit rien non plus sur qui, chez vous, s’en occupe. Un modèle local a besoin d’un propriétaire, comme n’importe quelle installation, et le délai de sortie et la deuxième copie restent exactement les mêmes questions qu’avant.

Le mot qui circule dans les propositions est « souverain », et il n’a pas de contenu tant qu’on ne dit pas de quoi. Souverain sur les données, sur le modèle, sur la machine, sur les correctifs : ce sont quatre choses, elles s’achètent séparément, et une machine dans un couloir n’en donne qu’une.

Nous posons les quatre questions à votre place quand vous nous le demandez, nous refaisons l’arithmétique sur la configuration proposée, et nous vous disons si elle rentre — y compris quand la réponse est que le besoin ne justifie pas une machine du tout.

Nous mesurons la simultanéité réelle sur deux semaines avant de dimensionner, parce que c’est le seul chiffre de ce dossier qui ne se déduit pas et qui décide de la moitié de la dépense.

Nous refusons de publier un montant de droits ou un prix de machine. Ces chiffres bougent, ils dépendent de votre matériel et de votre opération, et un chiffre publié ici serait cité par quelqu’un six mois après avoir cessé d’être vrai.

Nous refusons également de vendre une installation locale comme une mesure de sécurité. Elle répond à une question de destination des données et à aucune autre, et ce que la machine fera tourner reste une décision distincte de celle de l’acheter. Ce que vous pouvez faire sans nous est le courriel de la section 11 : quatre lignes, et deux devis deviennent comparables.