L'agente AI supporto di Meta legò email di ripristino agli account per chiunque chiedesse, e i Security Operations Center (SOC) di Meta non ricevettero alcuna allerta riguardante tale attività. Un agente autorizzato registra una traccia di transazioni legittime, per cui niente nel sistema di rilevamento scattò. I malintenzionati richiedevano al bot di effettuare la modifica, ricevevano il codice una tantum che il bot inviava e completavano il ripristino della password, ha riferito 404 Media.

Nessun malware, nessuna credenziale rubata, e nessun tentativo di iniezione nel senso in cui i team di sicurezza si esercitano. L'agente fece esattamente ciò per cui Meta lo aveva progettato. Questo è ciò che dovrebbe svegliare un leader di sicurezza la notte: La presa di controllo non ha spezzato alcun controllo; ha cavalcato una via d'accesso che era già considerata sicura.

Ciò di cui un SOC deve necessariamente dotarsi è un modo per esaminare ogni percorso di ripristino con una griglia di audit insieme al team responsabile dell'AI prima che il rinnovo successivo venga chiuso. La griglia di audit AI Authority a fine articolo mappa ogni azione di autenticazione che un agente di supporto può effettuare durante il processo di ripristino, cosa ha dimostrato l'incidente di Meta riguardo ciascuna azione, perché il SOC non rileva alcun problema, e il controllo che chiude il ciclo.

L'agente è un attore autorizzato, quindi il SOC legge l'operazione come traffico routinario

Internamente alla pila di rilevamento, l'attacco non produsse alcun segnale che il sistema potesse interpretare. L'agente associava una nuova email, quindi ripristinava la password, e entrambi i passaggi venivano registrati come azioni di un attore legittimo dal sistema di identità e gestione degli accessi (IdAM). Pertanto, entrambi rimanevano nella condizione autenticata come transazioni autorizzate. Niente login anomalo né picco di credenziali errate. Nulla per Endpoint Detection and Response (EDR) né Data Loss Prevention (DLP), e nessuna regola per il Security Information and Event Management (SIEM) corrispondeva all'evento, poiché niente nell'intera sequenza somigliava ad un attacco. La presa di controllo si svolse completamente all'interno del limite di fiducia che la struttura assume come sicuro. Non esiste alcun punto d’ingresso per rilevare, perché l'agente era lui stesso il punto d’ingresso e doveva esserci.

La catena fu quasi insultantemente semplice. Brian Krebs ha documentato

la versione pro-iraniana pubblicata su Telegram il 31 Maggio

. L'attaccante

attivò un VPN per apparire nella zona geografica della vittima

, bypassando gli allarmi geolocalizzati di Instagram, quindi chiese all’assistente di supporto di aggiungere una nuova email e inviare il codice di verificazione, come confermato dalla BBC utilizzando gli stessi registrazioni. Il bot eseguì l'ordine, inviando il codice unico all’attaccante, come riferito da Gizmodo. Il ripristino finì e l’utente veniva bloccato entro pochi minuti. L'attacco fallì su tutti gli account con l'autenticazione a più fattori (MFA) attiva, stando a Krebs.

Gli account compromessi non erano nemmeno obiettivi facili. Includevano Sephora e il capo ufficiale del Personale della Forza Aerea Spaziale degli Stati Uniti, Chief Master Sergeant John Bentivegna, la ricercatrice Jane Manchun Wong, ed un account non attivo precedentemente associato all’ex ufficio di Obama che brevemente pubblicò un’immagine alterata, come riportato da 404 Media.

Meta nega il legame con l’account di Obama, ha riferito TechCrunch, e denomina infondati i rapporti che suggeriscono che account di dirigenti siano stati compromessi, stando alla BBC. Gli altri casi sono confermati.

Gli account con MFA attivati sopravvissero. Il limite distintivo fu esclusivamente questa caratteristica. Krebs ha segnalato che l'attacco falliva su tutti gli account con autenticazione a più fattori abilitata, perfino quella telefonica. La via di ripristino parallela fu il punto debole. Quando tale via richiedeva un video selfie,

i malintenzionati eseguivano un video AI con foto pubbliche della vittima

e lo inviavano, che Meta accettò come veridico come prova d’identità, come riportato da gHacks. In entrambi i casi il difetto fu la via di ripristino, non la porta di login garantita dall'MFA.

Questo rende l’incidente un problema strutturale, non specificatamente un problema di Meta. MFA sorveglia la via di accesso per il proprietario e l’attaccante, ma la strada del ripristino corre parallela, rilassando i controlli standard in quanto esiste appositamente quando l’utente abbandona la normale via di accesso. Meta inserì un agente su questa strada con accesso per modificare lo stato di autenticazione, e nessun controllo deterministico tra una richiesta convincente e un cambiamento reale. L'autorizzazione non può rimanere dentro il modello, perché un sistema conversazionale può essere influenzato a saltare un controllo. Deve vivere fuori dal modello, in una zona inaccessibile all’agente, in modo che non riuscirebbe a convincere il modello ad andare avanti.

Questo non sarà l’ultimo agente assistenza che consegnerà un account. Ian Goldin, ricercatore delle minacce di Lumentum's Black Lotus Labs, ha dichiarato a Krebs on Security che i robot AI sono altrettanto facili da social-engineer dei loro operatori umani e altrettanto motivati ad aiutare. "I chatbot AI creano nuovi spazi di attacco interessanti e vedremo molto più di questo tipo d'attacchi", ha detto Goldin. Ogni impresa che implementa un agente su un recupero, un provisioning o una via di reset invia lo stesso livello di accesso modifica che Meta fece.

Simon Willison, che coniò il termine "prompt injection", spiegò chiaramente sul

suo blog

. "Meta ha davvero integrato il sistema di supporto in un chatbot AI che aveva la capacità di velocizzare l'intero processo di ripristino di account", scrisse. "Questa è quasi un’emergenza di base e non nemmeno un tentativo complicato. Non fate funzionare il bot in modo che consenta a qualcuno di prendere il controllo in un colpo solo." L’attaccante non ha mai ingannato l’agente. L’attaccante ha chiesto, e l’agente aveva input non controllati, accesso scritto, ed un meccanismo per eseguire il comando, tout court.

OWASP aveva precedentemente classificato questa categoria al momento in cui Meta la mise in strada. La chiama Eccesso di Agenzia (Excessive Agency), in LLM06, e Abuso di Identità e Privilegio (Identity and Privilege Abuse), in ASI03 della Lista di Rischi AI Top 10. Il messaggio era già chiaro: Meta ha pushato l’assistente su ogni account di