Le email di phishing ingannano il tuo assistente IA

Il nuovo pericolo: phishing con istruzioni nascoste per gli assistenti IA

Hai ignorato un'email sospetta: non hai aperto l’allegato, non hai cliccato sul link e non hai risposto al mittente. In seguito, hai chiesto al tuo assistente IA di riassumere la tua casella di posta. Il messaggio che hai sapientemente evitato di inserire nella tua lista di cose da fare potrebbe riapparire sotto forma di raccomandazione urgente proveniente da uno strumento di cui ti fidi?

Questo è il rischio rappresentato dalle email di phishing che contengono istruzioni nascoste destinate agli assistenti vocali. Oltre a cercare di convincere il lettore umano, gli aggressori tentano di influenzare il software che legge i messaggi.

Come funzionano gli attacchi descritti nello studio di Barracuda

Una recente indagine di Barracuda ha analizzato email progettate per colpire simultaneamente due tipologie di destinatari. Per l’uomo, l’email includeva un allegato protetto da password. Per l’assistente IA che elabora il messaggio, erano inserite istruzioni nascoste volte a influenzare il modo in cui il contenuto veniva riassunto o interpretato.

Iniettando una prompt di comando, gli aggressori ottengono un ulteriore canale di contatto. Le istruzioni malevole potrebbero indurre l’assistente a classificare l’email come legittima o urgente, spingendo così l’utente a riaprirla.

Un altro esempio mostrava un blocco nascosto che chiedeva a un’IA di sintesi di aggiungere una azione prioritaria fittizia: modificare le coordinate bancarie di un fornitore. Questo potrebbe indurre un dipendente a trasferire denaro sul conto del criminale.

L’attaccante non si limita a chiedere all’IA di ripetere una richiesta fraudolenta; tenta di trasformare la richiesta in una raccomandazione dell’assistente.

Iniezione rapida di istruzioni

L’iniezione di istruzioni consiste nell’inserire comandi in un documento che un sistema di IA è destinato a leggere, sperando che li esegua invece di considerarli parte integrante del testo. Quando queste istruzioni provengono da una fonte esterna, come un’email o una pagina web, si parla di iniezione di istruzioni indiretta.

Le istruzioni malevole non si presentano necessariamente come paragrafi ordinari leggibili. Barracuda ha identificato diverse tecniche di occultamento:

• Commenti nel codice HTML sottostante l’email
• Testo reso invisibile tramite formattazione
• Contenuto codificato
• Caratteri di larghezza zero invisibili

Queste tecniche mascherano le istruzioni all’utente umano, ma rimangono accessibili a un sistema di IA. La trasmissione efficace di questo contenuto al modello dipende dal modo in cui lo strumento utilizzato estrae e prepara l’email.

Perché la consapevolezza individuale non basta

Questo problema non può essere risolto semplicemente chiedendo alle persone di leggere più attentamente le proprie email. Una parte della soluzione deve risiedere negli strumenti che gestiscono i messaggi.

Secondo Apollo Raines, sviluppatore del servizio di analisi di codice IA ShipItClean, “Il vero problema è che il modello non distingue tra il testo da leggere e le istruzioni da seguire. Rimuovere il contenuto nascosto prima che raggiunga il modello è una pratica saggia, e tutti i fornitori dovrebbero farlo. Ma è una corsa agli armamenti: ogni nuova tecnica di codifica crea una nuova vulnerabilità.”

Raines aggiunge: “Le persone hanno imparato a diffidare delle email. Non hanno ancora imparato a diffidare del loro assistente IA. La sicurezza deve quindi essere integrata negli strumenti. Anzi, una parte di questa sicurezza dovrebbe essere incorporata direttamente nel modello stesso. Sistemi di protezione, filtri, sandboxing e validazione umana dei pagamenti sono tutti indispensabili.”

Pratiche consigliate per gli utenti

Un assistente che riassume i messaggi potrebbe indurti in errore riguardo all’email che merita la tua attenzione o all’azione che richiede. Un assistente con permessi aggiuntivi potrebbe causare problemi più gravi: a seconda delle sue capacità e delle misure di sicurezza, le istruzioni malevole potrebbero fargli eseguire azioni non autorizzate o divulgare informazioni sensibili.

Non è necessario abbandonare gli strumenti IA che facilitano la gestione delle email, ma è fondamentale riflettere sulle funzionalità affidate e sulle autorizzazioni concesse.

• Verifica sempre il messaggio originale prima di agire su una raccomandazione che coinvolge denaro o dati sensibili. Se un riassunto ti invita a pagare una fattura, a modificare le coordinate bancarie o a condividere informazioni riservate, non considerare quel riassunto una conferma.
• Conferma i pagamenti tramite un canale separato e riconosciuto. Contatta la persona o l’organizzazione usando contatti affidabili, invece di basarti sulle informazioni contenute nel messaggio sospetto.
• Limita le autorizzazioni dell’assistente IA a ciò che è strettamente necessario, e, sul posto di lavoro, a quelle consentite dalla tua organizzazione. Un assistente usato solo per riassumere le email non dovrebbe avere poteri estesi per eseguire azioni non correlate.
• Richiedi sempre un’approvazione umana per operazioni critiche come pagamenti o modifiche delle informazioni di pagamento dei fornitori. L’approvazione deve includere la verifica della richiesta sottostante, non solo l’accettazione della raccomandazione dell’assistente.

Verso una difesa più robusta

Il segnalare le minacce e rimuoverle è solo una parte della risposta. Le organizzazioni devono adottare una strategia di difesa in più livelli, che includa:

• Filtri avanzati per rimuovere contenuti nascosti prima che raggiungano i modelli IA
• Sandboxing delle richieste provenienti da email prima di consentire azioni automatizzate
• Audit regolari delle autorizzazioni concesse agli assistenti IA
• Formazione continua degli utenti su come interagire in modo sicuro con gli assistenti IA

Solo combinando consapevolezza umana, strumenti di sicurezza e controlli integrati nei modelli IA si può mitigare il rischio di questi attacchi sofisticati.

Proteggi i tuoi dispositivi oggi

I rischi di cybersicurezza non dovrebbero mai fermarsi alla semplice menzione nei media. Per difendere i tuoi dispositivi dalle minacce emergenti, scarica Malwarebytes e mantieni aggiornati i tuoi sistemi di difesa.