Hai ignorato l'e-mail sospetto. Non hai aperto l'allegato, non hai cliccato sul link e non hai risposto al mittente. Hai poi chiesto al tuo assistente IA di riassumere la tua casella di posta.
Il messaggio che hai saggiamente evitato potrebbe fare ritorno nella tua lista di cose da fare presentandosi come un'urgente raccomandazione proveniente da uno strumento di cui ti fidi? È il rischio rappresentato dalle e-mail di phishing contenenti istruzioni nascoste destinate agli assistenti IA. Invece di limitarsi a persuadere te, gli attaccanti cercano anche di influenzare il software che legge i tuoi messaggi.
Uno studio recente di Barracuda descrive e-mail progettate per mirare contemporaneamente a due tipi di destinatari. Per il destinatario umano, l'e-mail conteneva un allegato protetto da password. Per l'assistente IA che elaborava il messaggio, erano presenti istruzioni nascoste volte a influenzare il modo in cui riassumeva o interpretava il contenuto.
L'injection di prompt: un nuovo vettore d'attacco
Con l'injection di un prompt, gli attaccanti si assicurano un canale aggiuntivo per raggiungerti. Le istruzioni malevole potrebbero spingere l'assistente a definire l'e-mail legittimo o urgente, incoraggiandoti a riaprirlo. In un altro esempio, un blocco nascosto chiedeva a un'IA di sintesi di aggiungere un'azione prioritaria fittizia: modificare i coordinate bancari di un fornitore. Questo potrebbe indurre un dipendente a trasferire denaro sul conto di un pirata informatico.
L'attaccante non si limita a chiedere all'IA di ripetere una richiesta fraudolenta: tenta di trasformare quella richiesta in una raccomandazione dell'assistente.
Come funziona l'injection di istruzioni
L'injection di istruzioni consiste nell'inserire comandi in un documento che un sistema IA è destinato a leggere, nella speranza che li segua invece di considerarli parte integrante del documento. Quando queste istruzioni provengono da una fonte esterna, come un'e-mail o una pagina web, si parla di injection di istruzioni indiretta.
Le istruzioni malevole non si presentano necessariamente come paragrafi ordinari e leggibili. Barracuda ha identificato diverse tecniche di occultamento:
- commenti nel codice HTML sottostante dell'e-mail;
- testo reso invisibile tramite formattazione;
- contenuto codificato;
- caratteri invisibili di larghezza nulla.
Queste tecniche permettono di nascondere le istruzioni all'utente lasciando comunque il contenuto accessibile a un sistema IA. L'effettiva trasmissione di questo contenuto al modello dipende dal modo in cui lo strumento utilizzato estrae e prepara l'e-mail. Ciò significa che il problema non può essere risolto semplicemente chiedendo alle persone di leggere più attentamente le proprie e-mail: parte della soluzione deve risiedere negli strumenti che gestiscono questi messaggi.
Le parole degli esperti
Apollo Raines, sviluppatore del servizio di analisi del codice tramite IA ShipItClean, spiega: «Il vero problema è che il modello non fa differenza tra il testo che è destinato a leggere e le istruzioni che è destinato a seguire. Rimuovere il contenuto nascosto prima che raggiunga il modello è una pratica saggia, e tutti i fornitori dovrebbero farlo. Ma è una corsa agli armamenti: ogni nuova tecnica di codifica crea una nuova fallimento».
Aggiunge: «Le persone hanno imparato a diffidare delle e-mail. Non hanno imparato a diffidare del proprio assistente IA. La sicurezza deve quindi essere integrata negli strumenti. Direi persino di più: parte di questa sicurezza deve essere integrata nel modello stesso. I sistemi di protezione, i filtri, il sandboxing e la validazione umana dei pagamenti sono tutti indispensabili».
Prima di agire
Un assistente che riassume i messaggi potrebbe fuorviarti riguardo all'e-mail che merita la tua attenzione o all'azione richiesta. Un assistente dotato di permessi aggiuntivi potrebbe invece creare un problema più grave: a seconda delle sue capacità e delle misure di sicurezza, istruzioni malevole potrebbero indurlo a eseguire azioni non autorizzate o a divulgare informazioni sensibili.
Non è necessario abbandonare gli strumenti IA che facilitano la gestione delle e-mail. È però essenziale riflettere bene sulle funzionalità che ti affidi e sulle autorizzazioni che concedi. I consueti consigli sul phishing restano validi, ma quando un assistente legge la tua casella di posta al posto tuo, verifica le sue raccomandazioni prima di agire:
- Verifica il messaggio originale prima di dare seguito a una raccomandazione che implica denaro o informazioni sensibili. Se un riassunto ti invita a pagare una fattura, a modificare i tuoi coordinate bancari o a condividere informazioni sensibili, non considerare quel riassunto come una verifica.
- Verifica sempre le modifiche di pagamento tramite un canale distinto e riconosciuto. Contatta la persona o l'organizzazione usando coordinate affidabili, invece di affidarti alle informazioni contenute nel messaggio sospetto.
- Limita le autorizzazioni del tuo assistente IA a ciò di cui hai bisogno e, sul lavoro, a quelle autorizzate dalla tua organizzazione. Un assistente usato per riassumere le e-mail non dovrebbe disporre di ampi poteri per eseguire azioni non correlate alla sua funzione. Limitare l'accesso aiuta a mitigare le conseguenze se segue istruzioni malevole.
- Esigi l'approvazione umana per le azioni importanti come i pagamenti e le modifiche delle informazioni di pagamento dei fornitori. Questa approvazione deve includere la verifica della richiesta sottostante, e non la semplice accettazione della raccomandazione dell'assistente.
I rischi per la cybersicurezza non dovrebbero mai rimanere una semplice notizia nei media. Proteggi i tuoi dispositivi dalle minacce scaricando Malwarebytes fin da oggi.