Brex ha trovato una soluzione per risolvere le limitazioni dei tradizionali controlli di sicurezza sugli agenti di intelligenza artificiale, sviluppando una piattaforma interna chiamata CrabTrap. Questo agente open-source HTTP/HTTPS si colloca tra ogni agente e i dati inviati via rete, e usa un modello LLM come giudice per decidere quando approvare o negare le richieste.
Come CrabTrap funziona
“Quello che abbiamo notato è che il livello di rete rappresentava un punto d'azione non sfruttato”, ha dichiarato Pedro Franceschi, co-fondatore e CEO di Brex, durante un'intervista a VentureBeat. “Ogni richiesta che un agente effettua è un'opportunità per intercettarla, valutare e prendere una decisione di policy.”
Il punto chiave che Franceschi vuole far capire ai leader IT è che i controlli sugli agenti non dovrebbero rimanere limitati alle autorizzazioni SDK e ai regolatori modelli, ma dovrebbero spostarsi verso un piano centrale di controllo di rete che implementa criteri ed impara dall'effettivo comportamento in ambito reale degli agenti.
Lo sforzo di Brex verso il livello di trasporto
L’approccio tradizionale era stato rappresentato dalle politiche di guardia, focalizzandosi inizialmente su strumenti a limite, permessi per ogni azione, e approvazioni umane. Tuttavia, Franceschi ha notato che con l’evoluzione degli agenti, ogni nuove capacità significa un’altra API da regolare o una superficie da ispezionare.
- Tutti i sistemi agenziali con strumenti multipli e accesso a internet creano una tensione tra utilità e sicurezza.
- Il maggiore problema è che gli agenti vanno sempre bilanciati tra capacità ed utilità, e troppo controllo riduce il valore, mentre troppo controllo riduce la potenzialità.
Le soluzioni deboli
Franceschi ha detto che le soluzioni tradizionali a questo problema erano “deboli”. Token API granulari aiutano ma possono essere abusati. I giudizi semantici possono essere bypassati con manipolazione dei prompt. E i permessi limitati (es. accesso in sola lettura o strumenti ridotti) rendono gli agenti inutili. Al contrario, dare pieno controllo aumenta il rischio di errori.
I protocolli MCP aiutano solo per traffico specifico. Le guardie fornite con i modelli LLM sono legate ad un solo modello e non facilemente personalizzabili per politiche d’azienda.
Il giudice LLM e il ciclo di formazione
CrabTrap utilizza sia regole deterministiche sia giudizi LLM per prendere decisioni su richieste non riconosciute. L’LLM interviene solo nel 3% circa delle richieste, raramente su quelle inaspettate.
Un problema centrale era capire se un criterio era corretto: il valore deterministico delle regole è facile da verificare, ma i giudizi LLM sono caotici. Quindi, Brex ha costruito un sistema in cui le politiche vengono costruite a partire da osservazioni reali, e regolate iterativamente.
- I membri del team hanno creato un costruttore di criteri, un ciclo agenziale, che analizza i dati storici e produce criteri naturali.
- Un sistema di valutazione permette di testare le modifiche prima che vengano implementate.
- Tutte le modifiche vengono registrate, ed è possibile effettuare una ricerca per metodo, URL, decisione iniziale.
Questo sistema funziona con chiamate giudiciali in parallelo, così il replay di migliaia di richieste richiede minuti, non ore. I registri completi vengono conservati su PostgreSQL e visitabili tramite API e dashboard.
Tra problemi e innovazione
I problemi riscontrati durante la costruzione di CrabTrap includevano la latenza e l'iniezione di prompt. Ma l’utilizzo di modelli LLM veloci e di una gestione JSON ha mitigato molti di questi problemi.
- Le richieste giudicate sono raramente, il che minimizza l'impatto di latenza.
- Le strutture JSON evitano manipolazioni e abusi di richieste.
Ha sostenuto che CrabTrap ha significativamente migliorato la cultura organizzativa attorno agli agenti autonomi, trasformando il calcolo in cui Brex aveva sempre creduto. Non c'è più tanto rifiuto nel distribuire agenti, poiché l'enfasi è passata alla rete per il controllo.
Risultati e prospettive
Franceschi ha notato che CrabTrap non solo ha introdotto criteri molto forti, ma ha rivelato quanta rumore producono gli agenti in termini di traffico. Il registro di audit ha esposto per la prima volta la quantità di richieste inutili.
Gli utenti ora hanno fiducia per espandere l'uso degli agenti su più settori aziendali. L’implementazione di politiche derivate dal traffico ha dimostrato di essere “sorprendentemente forte,” tanto che i team hanno potuto passare da un piano iniziale a modifiche minime. Questo ha portato ad una gestione decentralizzata e fidata.
La strada futura per CrabTrap prevede miglioramenti in velocità, scalabilità, e integrazione con nuovi strumenti LLM di ultima generazione, con il sostegno di dati audit e un ciclo di retroazione continuo.