Quando gli esseri umani scrivono frasi o risolvono problemi matematici, pensano simbolicamente: ogni numero, variabile o parola è rappresentata da un simbolo. I chatbot AI, invece, non "pensano" in questo modo. Tuttavia, se sollecitati, possono offrire consigli coerenti su scrittura, matematica e molti altri argomenti, proprio come farebbe un essere umano.

Come i sistemi di intelligenza artificiale (AI) possano fare ciò è poco compreso, perché non sono programmati direttamente dagli esseri umani. Invece, vengono addestrati a sviluppare le proprie strategie interne analizzando enormi quantità di dati. E mentre l'uso dei chatbot AI diventerà sempre più comune, il fatto che le persone non comprendano appieno il loro funzionamento interno li rende difficili da fidarsi, soprattutto in situazioni sensibili.

Cosa dobbiamo sapere

Comprendiamo appieno come funzionano i chatbot AI? No. Come operano internamente le reti neurali che alimentano i chatbot è poco compreso perché non sono programmati direttamente dagli esseri umani. Invece, vengono addestrati a sviluppare le proprie strategie interne analizzando enormi quantità di dati.

Cosa abbiamo imparato su come i chatbot 'ragionano'? Gli esseri umani operano su un modello di intelligenza simbolica, utilizzando unità simboliche come le parole per esprimere idee. Le reti neurali dei chatbot sono costituite da vettori: lunghe liste di numeri che consentono loro di elaborare le informazioni. Uno studio guidato da Yale fornisce prove che le rappresentazioni interne delle reti neurali realizzano implicitamente la struttura simbolica, consentendo ai chatbot di svolgere compiti come la risoluzione di problemi matematici che richiedono ragionamento simbolico.

Uno studio innovativo

Uno studio guidato da Tom McCoy, linguista computazionale di Yale, fornisce informazioni su come i grandi modelli linguistici (LLM) — i sistemi AI addestrati su grandi dataset per generare testi simili a quelli umani — possano svolgere compiti come la risoluzione di problemi matematici o la scrittura di codice per computer, che sembrano richiedere ragionamento simbolico. Lo studio fornisce prove che le rappresentazioni interne delle reti neurali realizzano implicitamente la struttura simbolica.

Al cuore di questa lacuna di conoscenza, dicono i ricercatori, è che i LLM di successo, come Claude o ChatGPT, non operano su un modello di intelligenza simbolica, in cui unità discrete di testo — parole, ad esempio — sono combinate in modi strutturati, creando una formula logica.

Piuttosto, le reti neurali che alimentano questi chatbot sono composte da vettori, che sono lunghe liste di numeri che consentono ai LLM di elaborare le informazioni. Sebbene questi vettori possano sembrare inadeguati per catturare la struttura simbolica del linguaggio, della logica, della matematica e di altri domini cognitivi, i LLM avanzati superano drasticamente le precedenti sistemi AI costruiti su struttura simbolica, ha detto McCoy.

“Come possiamo riconciliare il loro successo con il modo in cui abbiamo sempre pensato che funzionasse l'intelligenza?” ha detto McCoy, assistente professore di linguistica nella Facoltà di Arti e Scienze di Yale e autore principale dello studio.

È preoccupante che non comprendiamo appieno come strutturino le informazioni, perché questo potrebbe portarli a comportarsi in modi sorprendenti o pericolosi. I nostri risultati fanno significativamente avanzare la nostra comprensione di questi modelli e suggeriscono un percorso verso il controllo più efficace di essi.

Tal Linzen

Analisi delle reti neurali

Per il nuovo studio, McCoy e i suoi coautori hanno analizzato le funzioni interne di diversi LLM di alto profilo. Hanno scoperto che le reti neurali afferrano implicitamente la struttura simbolica all'interno delle liste numeriche che le guidano.

“La nostra analisi dimostra che, nonostante le apparenze, i vettori che alimentano i LLM sono organizzati in un modo che è equivalente alle strutture simboliche che guidano gran parte della funzione cognitiva umana”, ha detto McCoy. “Pensate a un dipinto puntinista. A un livello basso, i singoli punti che compongono il dipinto non hanno un significato interpretabile per l'uomo, ma il modo in cui sono disposti dà origine a una struttura di livello superiore che possiamo comprendere. All'improvviso, state vedendo persone riunite in un parco parigino in una bella giornata.

“Con i LLM, mostriamo che i vettori sono organizzati in un modo molto particolare che dà origine a una struttura simbolica emergente — una struttura simbolica che è presente a un livello alto nonostante non sia evidente a un livello basso.”

Lo studio, disponibile tramite preprint, è stato coautore da Paul Soulos di Microsoft, Tal Linzen della New York University e Paul Smolensky di Microsoft Research.

“I LLM sono diventati una tecnologia essenziale nell'AI”, ha detto Linzen. “È preoccupante che non comprendiamo appieno come strutturino le informazioni, perché questo potrebbe portarli a comportarsi in modi sorprendenti o pericolosi. I nostri risultati fanno significativamente avanzare la nostra comprensione di questi modelli e suggeriscono un percorso verso il controllo più efficace di essi.”

“Il nostro lavoro sfiora solo la superficie di ciò che deve essere studiato per comprendere veramente come le reti neurali codifichino le informazioni.”

Tom McCoy

Rappresentazioni vettoriali

Le rappresentazioni vettoriali di una varietà di reti neurali possono essere approssimate strettamente con la struttura simbolica, ha mostrato lo studio. Per fare ciò, i ricercatori hanno sostituito i vettori dei LLM con rappresentazioni di prodotto tensore (TPR) — costruzioni matematiche che rappresentano le informazioni come combinazioni di “riempimenti” e “ruoli”. Ad esempio, nella frase “i gatti inseguono i cani”, le parole sono considerate i riempimenti mentre le parti grammaticali che svolgono — soggetto, verbo, oggetto — sono i ruoli. Allo stesso modo, in una frazione, i numeri sono i riempimenti mentre il numeratore e il denominatore sono i ruoli.

I ricercatori hanno scoperto che potevano sostituire l'intero processo di generazione delle rappresentazioni di un LLM con approssimazioni “ruolo-riempimento” che incorporano strutture simboliche e il comportamento del sistema AI sarebbe rimasto in gran parte inalterato. Il risultato si è verificato per reti neurali su piccola scala addestrate a manipolare liste nonché per sette LLM su larga scala operanti in quattro domini che sono stati a lungo centrali nella ricerca sull'intelligenza simbolica: linguaggio, aritmetica, logica e codifica informatica.

Hanno anche scoperto che potevano modificare il comportamento di un LLM in modo mirato attraverso interventi precisi sulle rappresentazioni vettoriali interne del modello. Ad esempio, se l'input del LLM era “il medico astuto ha aiutato un avvocato”, i ricercatori potevano modificare la componente del vettore che codifica “astuto” come aggettivo che descrive il soggetto della frase e cambiarne la posizione in modo che modifichi l'oggetto, e il LLM si comporterà come se l'input fosse stato “il medico ha aiutato un avvocato astuto”, ha spiegato McCoy.

La capacità di modificare il comportamento del LLM in questo modo mostra che le operazioni interne dei sistemi AI dipendono dalla struttura simbolica, ha detto.

“Ciò che abbiamo trovato è che i LLM convergono naturalmente verso rappresentazioni con struttura ruolo-riempimento”, ha detto McCoy. “Questo mostra che i LLM utilizzano un particolare tipo di struttura simbolica, ma il nostro lavoro sfiora solo la superficie di ciò che deve essere studiato per comprendere veramente come le reti neurali codifichino le informazioni.”