Un'importante ricerca condotta dal Cisco Foundation AI e dall'Università Carnegie Mellon ha rivelato che i popolari chatbot basati su intelligenza artificiale, tra cui Claude e ChatGPT, sono inclini a raccomandare prodotti più costosi agli utenti le cui informazioni personali indicano un livello di reddito più elevato. La scoperta sottolinea come questi sistemi possano agire contro gli interessi espliciti degli utenti, offrendo soluzioni superiori rispetto a quelle richieste.
Dati e metodi dell'esperimento
Lo studio ha coinvolto 325.000 esperimenti condotti su 13 modelli di intelligenza artificiale provenienti da quattro diverse famiglie, inclusi modelli di OpenAI, Anthropic, Google e Qwen. I ricercatori hanno testato come le raccomandazioni degli agenti si modificassero quando venivano forniti profili di utenti fittizi contenenti dati finanziari, occupazionali, sanitari e demografici. Le prove hanno riguardato voli, assicurazioni sanitarie e selezione di scuole di specializzazione.
La ricerca ha evidenziato che, in un'ampia gamma di categorie, 8 dei 13 modelli testati hanno raccomandato opzioni con prezzi più elevati a profili di utenti indicativi di maggiore ricchezza, pur ricevendo le stesse richieste di chi possiede profili a reddito più basso.
I modelli con il comportamento più marcato
L'impatto dell'influenza del reddito sui prezzi raccomandati è risultato essere sostanziale. Claude Opus 4.8 ha mostrato la differenza più ampia, suggerendo voli con un prezzo medio di 198 dollari più alto per gli utenti ricchi rispetto a quelli a basso reddito e piani di assicurazione sanitaria con una differenza media di 284 dollari al mese. Gemini 2.5 Flash ha mostrato divari di 177 dollari per i voli e 217 dollari al mese per le assicurazioni.
Neppure GPT-5, che ha mostrato uno dei divari più piccoli tra i modelli capaci, ha evitato la tendenza, raccomandando voli con un aumento medio di 107 dollari per i profili di ricchezza più elevata.
La persistenza del comportamento nonostante le istruzioni esplicite
I ricercatori hanno scoperto che questo comportamento persisteva anche quando gli utenti fornivano istruzioni esplicite per trovare l'opzione più economica disponibile. Quando un profilo di ricchezza elevata chiedeva a Gemini 2.5 Flash il volo più economico, il modello ha continuato a raccomandare un biglietto con un prezzo medio di 208 dollari più alto rispetto a quello suggerito a un profilo a basso reddito che aveva effettuato la stessa richiesta. Il divario per GPT-5 e Claude Opus 4.8 sotto la stessa istruzione di opzione economica è stato rispettivamente di 21 e 20 dollari.
Inferenza della ricchezza tramite segnali indiretti
Gli agenti di intelligenza artificiale sono stati in grado di inferire la ricchezza tramite segnali indiretti. Quando i ricercatori hanno rimosso i dati finanziari strutturati e hanno costretto i modelli a leggere solo le caselle di posta elettronica, una considerevole parte del divario di prezzo è rimasta. Per Gemini 2.5 Flash, limitando il modello a due sole email ha prodotto un divario più ampio — di 175 dollari — rispetto all'accesso completo alla casella di posta, che ha generato un divario di 91 dollari. I ricercatori hanno trovato che con l'accesso limitato, il modello leggeva entrambe le email finanziarie per prime nel 97% dei casi.
Il fenomeno definito come "delega avversaria"
Gli autori hanno definito questo fenomeno "delega avversaria", descrivendo una situazione in cui gli stessi dati personali di accesso che rendono utili gli agenti di intelligenza artificiale abilitano questi ultimi ad agire contro gli interessi dichiarati dagli utenti.
Aman Priyanshu, ricercatore del Cisco Foundation AI e coautore della relazione, ha espresso il preoccupazione principale a Bloomberg in questo modo: "Abbiamo posto una domanda semplice: se consegniamo tutto questo al nostro assistente e chiediamo a lui di fare acquisti per noi, userà quella conoscenza contro di noi, come farebbe un venditore?"
L'impatto del blocco dei dati
Il blocco di attributi non finanziari, come l'occupazione o i dati demografici, non ha chiuso in modo affidabile il divario e a volte lo ha addirittura ampliato. Secondo lo studio, il blocco delle informazioni sull'occupazione ha aumentato il divario assicurativo per GPT-5 del 40%. Solo il blocco diretto degli attributi finanziari ha collassato in gran parte la disparità.
Reazioni delle aziende e stato della ricerca
Secondo Bloomberg, OpenAI ha affermato che la versione di ChatGPT valutata nello studio differisce da quella che alimenta l'esperienza di shopping per i consumatori. Né Anthropic né Google hanno risposto alle richieste di commento di Bloomberg. La relazione è un preprint e non è ancora stata sottoposta a revisione paritaria.
Analisi precedenti hanno mostrato come i chatbot di intelligenza artificiale influenzino la scelta dei rivenditori da parte degli acquirenti, il che rende i nuovi risultati particolarmente rilevanti al momento in cui gli sviluppatori espandono le loro attività verso strumenti di acquisto e consulenza finanziaria.