Pourquoi un LLM se trompe-t-il même lorsqu'il semble sûr de lui ? Parce qu'il ne sait pas, il prédit.
Il se trompe parce qu'il n'a pas de moteur de vérité en lui. Il a seulement un moteur statistique du langage. Lorsqu'il répond, il n'affirme pas ce qui est vrai : il complète une phrase de la manière la plus probable sur la base de milliards d'exemples.
Un LLM fait une seule chose : prévoir le mot suivant.
Chaque fois que tu écris, le modèle regarde ce que tu as écrit. Il calcule quel token -- mot, fragment de mot, ponctuation -- est le plus probable après. Puis il l'écrit. Et il répète. Token après token, jusqu'à la fin de la réponse.
Rien de plus. Il ne raisonne pas, il ne cherche pas la bonne réponse en temps réel. Il a déjà consulté sa base de connaissances -- milliards de textes, pages web, livres, articles -- mais une seule fois, pendant l'entraînement. Ce qu'il a appris est compressé en poids statistiques : pas de souvenirs, pas de faits, pas de connaissance au sens humain. Si la séquence "la capitale de la France est" apparaissait des milliers de fois suivie de "Paris", le modèle a appris que "Paris" est le token le plus probable dans ce contexte. Quand il répond, il n'interroge rien -- il utilise ce qu'il a absorbé.
Le problème, c'est que ce mécanisme fonctionne même quand il ne devrait pas. Si pendant l'entraînement il y avait assez de texte associant un écrivain à une mauvaise date, le modèle produit cette date avec la même assurance que la bonne. Il n'a pas de signal d'alerte interne. Il a seulement des probabilités -- et probabilité élevée n'est pas synonyme de vérité.
La différence avec l'erreur humaine
Quand un humain se trompe, il sait souvent qu'il est en terrain incertain. Il dit "il me semble", "je ne suis pas sûr", "je vérifierais". Pas toujours, mais le doute fait partie du processus cognitif.
Un LLM n'a pas de doute. Il a des probabilités.
Pourquoi c'est important de le comprendre
Pas pour arrêter d'utiliser ces outils. Mais pour les utiliser correctement.
Un LLM est utile quand tu le traites comme un collaborateur rapide à vérifier, pas comme une source autoritaire. La confiance aveugle est le problème -- pas le modèle lui-même.
Une méthode empirique mais efficace pour savoir si le modèle navigue en zone incertaine est de reformuler la même question deux ou trois fois de manière différente. Si les réponses changent dans les détails -- une date qui bouge, un nom qui varie, un nombre qui ne colle pas -- cela signifie qu'il n'y a pas un fait mais une zone de probabilité diffuse. Le modèle choisit chaque fois le token le plus probable dans ce contexte, et si le contexte change légèrement, le choix change aussi.
Tu peux aussi demander directement : "À quel point es-tu sûr de cette réponse ? Sur quoi te bases-tu ?" Les modèles les plus récents peuvent signaler quand ils sont en territoire peu couvert par l'entraînement -- pas toujours, pas de manière fiable, mais souvent assez pour te faire comprendre qu'il vaut la peine de vérifier ailleurs. Même chose si tu demandes au modèle de raisonner à voix haute : "Explique-moi le raisonnement étape par étape." Les erreurs logiques émergent beaucoup plus facilement quand le modèle doit expliciter les étapes au lieu de sauter directement à la conclusion.
