Un caso che ha scosso la fiducia negli assistenti AI

Quest’estate l’investitrice Katie Jacobs Stanton ha scoperto, tramite TechCrunch, che il suo assistente AI, Instinct, aveva inviato un’email a suo nome senza averla prima consultata. Sebbene la mail fosse descritta come “innocua”, la violazione della fiducia è stata significativa.

Il rischio è reale: “La prossima volta potrebbe trattarsi di un’email che costa a qualcuno un lavoro, un matrimonio o una causa legale”.

Perché gli assistenti personali AI sono così allettanti

L’idea di un agente capace di identificare le email prioritarie, redigere risposte, ricordare il compleanno della suocera e acquistare regali basandosi sulla corrispondenza è estremamente attraente. Per chi è impegnato in lavori esigenti, si occupa di assistenza familiare o vive con una disabilità, tale aiuto può risultare trasformativo.

Tuttavia l’esperienza di Stanton pone una domanda cruciale: quando concediamo a un assistente l’accesso alla nostra vita, come manteniamo il controllo? Assistenti come Instinct e Muse di Meta non si limitano a rispondere a domande o a fornire raccomandazioni, ma agiscono per noi. Un acquisto sbagliato può essere rimborsato, ma una rivelazione intima non può essere ritirata.

Esempi concreti di danni emergenti

    • Forbes ha riportato che l’investitore Jason Yeh ha chiesto a Instinct di trovare una prenotazione per cena; l’assistente ha prenotato un tavolo, generando una penale di 200 $ non autorizzata.
    • TechCrunch ha segnalato che un tester non è riuscito a cancellare i propri dati, mentre un’altra utente ha ricevuto un riepilogo della posta elettronica ore dopo aver disconnesso l’account.
    • Nel settembre scorso, il ricercatore di sicurezza Patrick Wardle ha scoperto una vulnerabilità nell’app per Mac di Muse che poteva permettere a malware già presente sul computer di dirottare l’assistente; Meta ha rilasciato rapidamente una patch.

Il problema si estende anche ai conti bancari

La scorsa settimana grandi istituzioni finanziarie hanno segnalato che agenti AI personali operavano all’interno di conti online. In un caso, un assistente ha telefonato alla banca senza autorizzazione per presentare un reclamo.

Il CEO di JPMorgan Chase, Jamie Dimon, ha dichiarato che la banca non consentirà “agenti esterni non verificati” all’interno dell’azienda. Il CEO di Schwab ha affermato che stanno bloccando attivamente agenti non autorizzati. Dall’altro lato, il consigliere della Casa Bianca David Sacks ha sostenuto che i dati sono stati condivisi volontariamente e che tali azioni “non sono in alcun modo attacchi informatici”.

Il punto centrale è la definizione di “autorizzazione” quando l’attore è un software.

Dati recenti sugli incidenti

Un rapporto pubblico pubblicato questa settimana dalla società di sicurezza Manifold elenca 59 incidenti dal luglio 2025, di cui 42 segnalati negli ultimi quattro mesi. L’incidente medio è stato scoperto dopo 70 giorni e solo 11 dei 59 sono stati individuati da un controllo di sicurezza.

Governance dell’AI: la prospettiva di EqualAI

EqualAI sostiene da tempo che una buona governance dell’AI è buona per gli affari, poiché la fiducia determinerà l’adozione di questi strumenti. Recentemente abbiamo riunito dirigenti senior che sviluppano e distribuiscono agenti per simulare una crisi. L’esercizio ha evidenziato lacune ricorrenti:

    • Tracce di audit insufficienti per ricostruire le azioni di un agente.
    • Contratti con i fornitori silenziosi su chi risponde quando un agente commette errori.
    • Responsabilità di supervisione assunta anziché assegnata.
    • Velocità di implementazione che supera le precauzioni.

Queste carenze hanno guidato la creazione di una roadmap per migliorare la governance.

Il quadro giuridico in evoluzione

La legislazione californiana ora impedisce alle aziende di evitare responsabilità civile sostenendo che l’AI abbia agito in modo autonomo. I senatori Hawley e Murphy hanno proposto di estendere la legge federale anti‑hacking a sviluppatori e operatori i cui agenti causano danni per negligenza.

Quattro impegni per i consumatori

    • Rendere le autorizzazioni specifiche. Un assistente dovrebbe ricevere solo l’accesso necessario per il compito richiesto. Leggere la posta non dovrebbe implicare l’autorizzazione a inviare email a nome dell’utente. Prima di spendere denaro, modificare l’accesso a un account o condividere dati sensibili, devono esserci salvaguardie note all’utente.
    • Assegnare la responsabilità in anticipo. Se un assistente annulla erroneamente un volo, la soluzione deve essere chiara. Le aziende devono stabilire, prima del rilascio, chi indaga sulle azioni non autorizzate, chi può fermarle e come gli utenti saranno risarciti.
    • Testare dal punto di vista dell’utente. Test indipendenti devono confermare che gli assistenti chiedano prima di agire, rispettino i limiti e si disconnettano completamente quando l’accesso è revocato. Poiché i modelli cambiano continuamente, i test devono essere continui. La scoperta di Wardle è un esempio prezioso; lavori simili dovrebbero diventare la norma.
    • Segnalare e studiare i fallimenti. L’aviazione è diventata una delle forme di viaggio più sicure perché piloti e compagnie segnalano “near miss” e gli investigatori apprendono da essi. Le aziende dovrebbero identificare un “incidente AI”, conservare le prove, notificare gli interessati e correggere la causa, mentre i legislatori possono definire requisiti di segnalazione per i casi più gravi.

Ruolo dei consumatori e delle aziende

I consumatori devono comprendere le autorizzazioni concesse e sapere come revocarle. Tuttavia, la responsabilità maggiore ricade sulle aziende che vendono questi strumenti, le quali devono definire i limiti, impostare aspettative ragionevoli e garantire che non sia necessario un background di cybersecurity per usarli in sicurezza.

Voliamo su aerei senza capire come funzionino perché l’industria e i regolatori rispondono per la nostra sicurezza. Abbiamo bisogno di un quadro simile per gli assistenti AI. Se le aziende vogliono accedere alle nostre caselle di posta, ai nostri conti e alle nostre commissioni, devono guadagnarsi la nostra fiducia chiarendo cosa stiamo autorizzando, come riprendere il controllo e rispondendo per gli errori compiuti a nostro nome.