I limiti degli LLM

Oggi ho fatto un esperimento: ho sottoposto a Gemini (2.5 Flash) questa semplice domanda:

Perchè gli LLM non sono in grado di dire semplicemente “non lo so”, e spesso forniscono risposte e generano testi grottescamente inutili o palesemente falsi?

E la risposta è stata interessante, ve la ripropongo:

Gli LLM (Large Language Models) non sono in grado di dire semplicemente “non lo so” perché sono addestrati per prevedere la parola successiva in una sequenza, basandosi sui vastissimi dati su cui sono stati allenati.

Ecco i motivi principali per cui gli LLM tendono a “inventare” (fenomeno noto come allucinazione) o a generare risposte inutili:

Natura del Modello e Funzionamento Massimizzazione della Probabilità: Il loro obiettivo primario non è la verità o l'accuratezza, ma la coerenza statistica e la plausibilità rispetto al corpus di addestramento. In pratica, cercano sempre la parola che ha la massima probabilità di seguire le precedenti nel contesto dato. Assenza di Memoria e Coscienza: Gli LLM non “capiscono” le informazioni nel modo in cui lo fa un essere umano. Non hanno coscienza, conoscenza del mondo reale o la capacità di verificare i fatti. L'unica “conoscenza” che possiedono è la distribuzione statistica delle parole. Nessun Meccanismo Interno di Incertezza (Inizialmente): I modelli originali non erano progettati con un meccanismo intrinseco per valutare la propria incertezza o per accedere a una “base di dati” di non-conoscenza. Sono costretti, per la loro architettura, a generare una risposta. Le “Allucinazioni” (Risposte False o Grottesche) Il problema delle allucinazioni (risposte generate che sono plausibili ma fattualmente false) deriva da diversi fattori:

Lacune nei Dati di Addestramento: Se una domanda riguarda un argomento raro, oscuro o non ben rappresentato nel training set, il modello “riempie gli spazi vuoti” in modo plausibile ma inventato, combinando concetti correlati in modi errati o bizzarri. Generalizzazione Eccessiva: Il modello può estrapolare da schemi noti, applicando regole o associazioni a contesti in cui non sono valide, portando a errori fattuali. Coerenza Stilistica vs. Coerenza Fattuale: Il modello eccelle nel creare un testo che suona autorevole e ben scritto, anche se il contenuto è completamente inventato. La fluidità della prosa maschera l'errore. Pressione alla Risposta: Essendo un sistema che deve generare testo, il modello è, per impostazione predefinita, portato a rispondere a tutti i costi, anche quando la risposta corretta sarebbe l'assenza di risposta. Tentativi di Mitigazione e Soluzioni Attuali I ricercatori e gli sviluppatori stanno lavorando per mitigare questo problema:

Training per la Sincerità/Cautela: Le tecniche di Reinforcement Learning from Human Feedback (RLHF) includono l'addestramento del modello a riconoscere l'incertezza e a preferire risposte che indicano limiti, portandolo a dire (o a parafrasare) “non so” in contesti molto specifici. Aumento della Mancanza di Informazioni: Alcuni modelli moderni, se non riescono a trovare una risposta plausibile con un alto grado di confidenza, vengono istruiti a generare frasi come: “Sulla base delle mie conoscenze attuali, non ho informazioni sufficienti per rispondere in modo definitivo” (una versione sofisticata del “non lo so”). Integrazione con Ricerca Esterna (RAG): Tecniche come la Retrieval-Augmented Generation (RAG) consentono al modello di consultare fonti esterne (come Google Search o database specifici) in tempo reale prima di generare una risposta, riducendo la dipendenza dalla sua conoscenza interna e l'incentivo a inventare. In sintesi, la generazione di risposte false non è un atto di “volontà” o inganno, ma una conseguenza diretta della loro architettura statistica, che premia la plausibilità e la coerenza del linguaggio sulla verità fattuale.

Insomma, gli LLM sono come le scimmie di Borges, con una spruzzata di statistica.