Gli agenti di intelligenza artificiale sono diventati una componente chiave nelle strategie di molte aziende, ma il modo in cui vengono governati potrebbe mettere a rischio l'intera sperimentazione e applicazione di questi strumenti. Secondo uno studio di Gartner, la mancanza di una governance differenziata — applicata uniformemente a tutti gli agenti, indipendentemente dal loro livello di autonomia o accesso ai sistemi — potrebbe portare, entro il 2027, a una significativa riduzione o persino al fallimento di diversi progetti enterprise.
“Le organizzazioni stanno affrontando la governance degli agenti AI in modo troppo semplificato, considerandoli o completamente bloccati o totalmente affidabili”, ha spiegato Shiva Varma, senior director analyst di Gartner. Questa visione, che non tiene conto delle complessità legate al livello di autonomia e al tipo di dati maneggiati, potrebbe generare gravi incidenti operativi, violazioni di合规性 o falle di sicurezza, spesso emerse solo in fase di produzione.
Il rischio coinvolge soprattutto quei progetti che si muovono verso agenti autonomi, una categoria sempre più numerosa in cui i sistemi non solo generano output, ma eseguono azioni reali: modificano dati, interagiscono con applicazioni aziendali, prendono decisioni. Secondo Gartner, il problema non è l'Ai in sé, ma la mancanza di modelli di governance adatti al livello reale di autonomia degli agenti.
Una governance binaria non funziona
Le aziende che applicano lo stesso modello di controllo a tutti gli agenti AI — che siano semplici assistenti o sistemi avanzati con accesso critico a dati e operazioni aziendali — si espongono a due rischi specifici:
- Controlli eccessivamente rigidi su agenti poco autonomi rallentano l’innovazione e favoriscono l’uso non autorizzato di strumenti esterni (cosiddetta “shadow AI”)
- Regole troppo permissive su agenti autonomi aumentano i rischi di incidenti operativi, legali e reputazionali
Per gestire efficacemente i nuovi rischi dell’agentic AI, Gartner propone un modello di governance proporzionale, fondato su quattro livelli di autonomia crescente, ciascuno con un profilo di rischio e un insieme di controlli distinti.
Un modello di governance a quattro livelli
Livello 1: Observe
Ai livello più basso, gli agenti hanno accesso solo in lettura ai dati, producendo output visibili esclusivamente all’utente che li ha richiesti. I rischi principali in questa fase sono legati all’esposizione dei dati e all’accuratezza dell’output. I controlli necessari seguono questa logica:
- Identificazione precisa dei dati accessibili
- Valutazione del rischio associato a ogni query
- Limitazione della visibilità dell’output ai soggetti autorizzati
Livello 2: Advise
Gli agenti al livello Advise producono suggerimenti, raccomandazioni o draft, mantenendo però il controllo decisionale in mano all’utente. Anche qui ci sono rischi — ad esempio, l'automation bias, dove gli utenti finiscono per fidarsi ciecamente delle raccomandazioni anche quando sono errate o incomplete. Per mitigare questi rischi, Gartner consiglia:
- Tracciabilità dell’origine dei suggerimenti
- Controllo dell’accuratezza delle raccomandazioni
- Formazione degli utenti sull’interpretazione dell'output AI
Livello 3: Execute con approvazione
Questo livello rappresenta un passo in avanti significativo. Gli agenti possono eseguire azioni concrete come modificare configurazioni IT, inviare email o aggiornare flussi di lavoro, ma solo su esplicita approvazione umana. Secondo Gartner, però, la governance deve concentrarsi sull’effettiva capacità dei controlli postuma di verificare e validare le azioni. Varma sottolinea:
“La revisione umana è efficace solo se rimane un controllo significativo. In contesti ad alta frequenza o pressione, la supervisione potrebbe diventare formalistica, generando una falsa percezione di sicurezza.”
Livello 4: Autonomous
Il grado più alto di autonomia permette agli agenti di agire senza approvazione preventiva, all’interno di guardrail definiti. Il rischio qui aumenta significativamente, soprattutto per la velocità e la scala con cui le azioni vengono eseguite. L’utente umano supervisiona soltanto:
- Il risultato finale
- La conformità alle policy
- L’efficacia del monitoraggio in tempo reale
Gartner sottolinea che in questo scenario i controlli tecnici (accesso limitato alle API, gestione delle credenziali e dei permessi, auditing regolare) e organizzativi (chiara tracciabilità delle azioni, gestione del rischio, revisione periodica delle guardrail) sono fondamentali per evitare incidenti gravi.
I rischi dell’assenza di governance strutturata
Molti progetti sono stati avviati senza una governance adegua, soprattutto in settori ad alta regolamentazione come la finanza, la sanità o l’amministrazione pubblica. I rischi in questi ambiti riguardano non solo l'integrità operativa ma anche il rispetto delle normative vigenti.
La situazione in Europa si complica con l'entrata in vigore dell'AI Act, che introduce obblighi specifici per sistemi ad alto rischio. Sebbene non tutti i sistemi autonomi rientrino in questa categoria, il rischio normativo cresce significativamente. Gartner sottolinea come il mercato abbia già iniziato a reagire: IDC prevede una crescita esponenziale dell’AI generativa, che supererà i 630 miliardi entro il 2028, mentre McKinsey stima che il 65% delle aziende sta già sperimentandone forme di utilizzo.
Un piano di governance strutturato per il futuro
Gartner ribadisce che la responsabilità dell’utilizzo dell’AI non può essere delegata completamente ai sistemi: anche se un agente agisce autonomamente, il bilancio finale spetta sempre all’organizzazione. Per rendere sostenibile il modello di governance, è essenziale adottare modelli differenziati in base a:
- Livello di autonomia dell’agente
- Contestualità operativa
- Rischio connesso all’azione
Le aziende che non svilupperanno queste architetture non saranno in grado di far fronte agli eventi critici che inevitabilmente emergeranno. Inoltre, l’assenza di controlli adeguati potrebbe limitare la capacità di innovazione interna e compromettere l’efficacia delle sperimentazioni AI.