Perché un LLM sbaglia anche quando sembra sicuro di sé? Perché non sa, predice.
Sbaglia perché non ha un motore della verità dentro di sé. Ha solo un motore statistico del linguaggio. Quando risponde, non sta affermando ciò che è vero: sta completando una frase nel modo più probabile sulla base di miliardi di esempi.
Un LLM fa una cosa sola: prevede la parola successiva.
Ogni volta che scrivi qualcosa, il modello guarda quello che hai scritto e calcola quale token — parola, frammento di parola, punteggiatura — ha più probabilità di venire dopo. Poi lo scrive. Poi ripete. Token dopo token, fino alla fine della risposta.
Niente di più. Non ragiona, non sta cercando la risposta giusta in tempo reale. Ha già consultato la sua base di conoscenza— miliardi di testi, pagine web, libri, articoli — ma lo ha fatto una volta sola, durante il training. Quello che ha imparato è stato compresso in pesi statistici: non ricordi, non fatti, non conoscenza nel senso umano del termine. Se la sequenza <<la capitale della Francia è>> appariva migliaia di volte seguita da <<Parigi>>, il modello ha imparato che <<Parigi>> è il token più probabile in quel contesto. Quando risponde, non sta interrogando niente — sta usando quello che ha assorbito.
Il problema è che questo meccanismo funziona anche quando non dovrebbe. Se nel training c'era abbastanza testo che associava uno scrittore a una data sbagliata, il modello produce quella data con la stessa sicurezza con cui produce quella giusta. Non ha un campanello interno che suona. Ha solo probabilità — e probabilità alta non è sinonimo di vero.
La differenza con l'errore umano
Quando un umano sbaglia sa spesso di essere in territorio incerto. Dice <<mi sembra>>, <<non ne sono sicuro>>, <<controllerei>>. Non sempre, ma il dubbio è parte del processo cognitivo.
Un LLM non ha dubbio. Ha probabilità.
Perché è importante capirlo
Non per smettere di usare questi strumenti. Ma per usarli nel modo giusto.
Un LLM è utile quando lo tratti come un collaboratore veloce che va verificato, non come una fonte autorevole. La fiducia cieca è il problema — non il modello in sé.
Un modo empirico ma efficace per capire se il modello sta navigando in zona incerta è riformulare la stessa domanda due o tre volte in modi diversi. Se le risposte cambiano nei dettagli — una data che si sposta, un nome che varia, un numero che non torna — significa che sotto non c'è un fatto ma una zona di probabilità diffusa. Il modello ogni volta pesca il token più probabile in quel contesto, e se il contesto cambia leggermente, cambia anche la pesca.
Puoi anche chiedere direttamente: "Quanto sei sicuro di questa risposta? Su cosa ti basi?" I modelli più recenti hanno una certa capacità di segnalare quando sono in territorio poco coperto dal training — non sempre, non in modo affidabile, ma spesso abbastanza da farti capire che vale la pena verificare altrove. Stesso discorso se chiedi al modello di ragionare ad alta voce: <<Spiegami il ragionamento passo per passo.>> Gli errori logici emergono molto più facilmente quando il modello deve esplicitare i passaggi invece di saltare direttamente alla conclusione.
