LLM nel tempo: come cambiano prestazioni, ri…

Introduzione: LLM come nuovo “pezzo” di software aziendale

Allontanandoci per un momento dalle polemiche che imperano sulla redditività dei modelli linguistici, sulla necessità (o meno) di regolamentazione e sull’eventuale rischio sistemico o addirittura esistenziale che questi algoritmi rappresentano, possiamo comunque riconoscere che nel mondo normale, della produzione e delle aziende, le intelligenze artificiali basate sui Large Language Model si stanno facendo strada sia come collaboratori del personale umano, sia come loro sostituti in attività più ripetitive. In questo caso tali sistemi vanno valutati in base alle loro capacità, così come faremmo con qualunque altro nuovo “pezzo” di software aziendale.

Si è parlato a lungo dei problemi legati alla confidenzialità dei dati, ai costi delle soluzioni e alla loro affidabilità intrinseca, ma ora che non si tratta più di prime adozioni o di progetti esplorativi, devono essere esplorati anche altri elementi legati alla stabilità nel tempo di questi modelli e dei sistemi che li utilizzano.

Limiti intrinseci degli LLM

Un modello linguistico di grandi dimensioni (LLM) viene addestrato una sola volta, su una fotografia del mondo scattata entro una certa data e poi distribuito per essere usato per mesi o anni. In questo momento il modello smette di imparare e comincia semplicemente a rispondere, senza più apprendere. Il mondo che è chiamato a descrivere però non si ferma allo stesso istante.

Nuovi fatti accadono, il linguaggio con cui le persone si esprimono evolve, le opinioni pubbliche cambiano e c’è chi può attivamente cercare di alterare il comportamento del modello o di aggirarne le protezioni. Da questo quadrante temporale, destinato ad ampliarsi nel tempo fra il modello che resta fermo e un mondo che continua a muoversi, nascono tutti i fenomeni di degrado prestazionale.

Il limite più noto è la tendenza ad allucinare, ossia produrre risposte formulate con sicurezza, grammaticalmente ineccepibili e stilisticamente plausibili ma prive di fondamento fattuale. Non è un errore occasionale, ma una conseguenza quasi inevitabile del modo in cui un modello di questo tipo funziona, prevedendo, parola dopo parola, la continuazione più probabile di un testo, senza alcun meccanismo interno che distingua sistematicamente un fatto verificato da un’invenzione plausibile.

Altri due limiti, meno discussi ma altrettanto strutturali, sono:

Knowledge cutoff: oltre una certa data il modello semplicemente non sa nulla del mondo.
Comprehension without competence: la comprensione del linguaggio resta priva di un radicamento diretto nell’esperienza, perciò il modello non possiede una vera “competenza” semantica.

Fenomeni di degrado post‑rilascio

Una volta che il modello è in produzione, si osservano quattro fenomeni distinti, ciascuno derivante da una combinazione di cambiamento naturale del mondo o di manipolazione intenzionale.

Data drift: cambia la forma dei dati in ingresso (vocabolario, stile, struttura delle frasi) mantenendo invariato il compito. Esempio: un feedback positivo su un prodotto può passare da “mi piace molto” a “è top” e la macchina può non riconoscere più la positività.
Concept drift: la relazione tra dato di input e risposta corretta evolve. Un help desk che risponde a domande su un prodotto può fornire informazioni obsolete se il prodotto è stato aggiornato.
Poisoning: manipolazione deliberata dei dati di addestramento (o dei pesi) per indurre un comportamento dannoso, difficile da rilevare nei test.
Evasion attack: l’attaccante costruisce un input appositamente studiato per aggirare le istruzioni di sicurezza del modello, senza alterare il modello stesso.

Come esito cumulativo di questi fenomeni si può verificare il model collapse, cioè l’obsolescenza radicale del modello dovuta a generazioni successive addestrate su testo prodotto da altri LLM, con perdita di varietà e amplificazione degli errori.

Strategie di mitigazione per ogni tipo di drift

La letteratura propone contromisure specifiche per ciascuno dei quattro fenomeni, ma nessuna è risolutiva da sola.

Contromisure contro il data drift

La strategia più diretta è il monitoraggio statistico continuo: confrontare periodicamente la distribuzione dei dati osservati in produzione con quella dei dati di addestramento, usando metriche come la divergenza di Kullback‑Leibler o la distanza di Wasserstein. Questo approccio è economico e non richiede una risposta corretta caso per caso, ma ha limiti:

Misura solo il cambiamento di parole, non di significato.
Può rimanere silenzioso quando il cambiamento è semantico ma non lessicale.

Contromisure contro il concept drift

La via più efficace è il riaddestramento periodico del modello sui dati più recenti. Quando l’intero modello è troppo costoso da aggiornare, si può affiancare un sistema di retrieval‑augmented generation (RAG), capace di consultare una base di conoscenza esterna e sempre aggiornata al momento della risposta.

Limiti del RAG:

Richiede l’esistenza di documenti aggiornati e strutturati.
Funziona bene per fatti verificabili, ma è meno efficace per mutamenti sfumati come il cambiamento di opinioni pubbliche.

In pratica, la protezione dal concept drift richiede che i processi di change management aziendali includano il tempestivo aggiornamento della documentazione di riferimento per le LLM.

Contromisure contro il poisoning

Le difese si concentrano su due fronti:

Filtraggio dei dati prima dell’addestramento, verificando la provenienza e la coerenza delle fonti.
Controllo dell’identità del modello distribuito, assicurandosi che provenga da un fornitore verificato.

Il problema più severo emerge quando l’attacco modifica direttamente i pesi di un modello già addestrato. In questi casi non c’è alcun dato da filtrare e l’unica difesa praticabile è la verifica a monte dell’identità del distributore e l’uso di firme crittografiche per garantire l’integrità del modello.

Contromisure contro l’evasion attack

Le evasion attack sfruttano la ingenuità del modello al momento dell’uso, costruendo input che aggirano le istruzioni di sicurezza. Le difese più efficaci includono:

Prompt sanitization: pulizia e normalizzazione dell’input prima che raggiunga il modello.
Filtri di contenuto basati su regole e modelli di rilevamento di pattern malevoli.
Ensemble di modelli che confrontano le risposte di più istanze per rilevare anomalie.

Queste contromisure riducono la probabilità che un singolo input ingannevole provochi un risultato pericoloso, ma non eliminano il rischio al 100 %.

Il modello collapse: un rischio a lungo termine

Il model collapse è una conseguenza a lungo termine dell’uso massivo di LLM per generare testo che a sua volta alimenta nuovi addestramenti. Con ogni generazione, la distribuzione dei dati tende a diventare più omogenea, perdendo eventi rari e amplificando gli errori delle versioni precedenti.

Strategie per mitigare questo fenomeno includono:

Inserire nei dataset di addestramento una quota fissa di testi umani verificati per mantenere la diversità.
Applicare regularizzazione che penalizza la ripetitività e promuove la varietà semantica.
Utilizzare pipeline di valutazione umana per campioni casuali di testo generato, assicurando che non si creino “cicli di eco”.

Conclusioni: verso una governance continua degli LLM

Nel contesto aziendale, gli LLM non sono più semplici progetti pilota, ma componenti critici di processi operativi. La loro staticità di addestramento li rende vulnerabili a data drift, concept drift, poisoning ed evasion, oltre al rischio di model collapse. Per mantenere affidabilità e sicurezza è necessario adottare una strategia di governance continua che includa:

Monitoraggio statistico e semantico dei dati in ingresso.
Riaddestramento periodico o integrazione con sistemi RAG.
Controlli rigorosi sulla catena di fornitura del modello e firme di integrità.
Filtraggio e sanitizzazione degli input, supportati da modelli ensemble.
Processi di valutazione umana e inserimento di contenuti verificati per contrastare il model collapse.

Solo combinando queste pratiche è possibile garantire che i LLM rimangano strumenti utili e sicuri, capaci di adattarsi a un mondo in continuo cambiamento senza compromettere la qualità delle decisioni aziendali.