Le infrastrutture legacy, non i modelli stessi, sono la causa principale degli rallentamenti degli agenti AI. Questa è stata la conclusione comune a tre dirigenti – LinkedIn, Walmart e Zendesk – al VB Transform 2026. I leader hanno condiviso le sfide incontrate durante il passaggio dagli agenti sperimentali al funzionamento su larga scala, tutti concordando su un unico problema: i collo di bottiglia non riguardano i modelli, ma l’infrastruttura.

Come si è verificato il collo di bottiglia

La sfida principale riscontrata dai tre leader è legata al fatto che l’infrastruttura tradizionale è stata progettata per come lavorano gli umani, non per la velocità degli agenti. Quando si parla di agenti AI, il divario di velocità si è rivelato il campo principale su cui è stata necessaria l’ingegneria.

Gosby ha chiarito come scalare gli agenti all’interno dell’organizzazione di Walmart abbia richiesto un piano per evitare che l’ingegneria diventasse un collo di bottiglia: “Il nostro obiettivo era fare in modo che l'ingegneria non diventasse mai un ostacolo rispetto a ciò per cui stiamo lavorando”.

I problemi specifici di LinkedIn

LinkedIn ha riscontrato un primo collo di bottiglia non nei modelli, ma in Kubernetes, che assume contenitori su domanda con un processo che impiega secondi. Singh ha sottolineato che per gli agenti questa velocità non è sufficiente, e la soluzione è stata passare da un provisioning su richiesta a pool pre-provisionati di contenitori in grado di gestire carichi di lavoro in tempo reale.

Un problema successivo ha riguardato il controllo autonomo degli agenti. Un sistema di valutazione a cinque punti sembrava funzionare, ma continuavano a verificarsi errori di logica. Singh ha spiegato che il problema strutturale risiede nel fatto che un LLM che valuta l’output di un altro LLM condivide lo stesso tipo di fallimento. Per risolverlo, LinkedIn ha realizzato un proprio sistema di orchestrazione e di controllo, dove gli LLM sono utilizzati solo quando necessario e ogni passo del processo è registrato in modo deterministico.

    • Il 80% del workflow è ora scritto in codice deterministico.
    • I modelli LLM vengono usati solo quando necessaria una logica avanzata.
    • Ogni azione viene registrata in un file prima che il sistema passi al passo successivo.

La sfida Walmart

Walmart ha trovato il proprio collo di bottiglia non tanto in problemi tecnici quanto nell'elevato tasso di adozione. Un sistema di agenti messo a disposizione internamente ha generato un boom di innovazioni, con i cosiddetti “sviluppatori cittadini” che costruivano agenti autonomi. Se da un lato questa mossa ha portato a molte iniziative, da un altro ha generato sovrapposizioni e mancanza di coordinamento.

La soluzione non ha riguardato un ritiro del sistema, bensì l'introduzione di una governance che consentisse di identificare le versioni più performanti degli agenti e di favorirne l’adozione su larga scala. La sfida era mantenere la libera iniziativa dell'organizzazione senza che l'ingegneria diventasse sempre un blocco.

Zendesk si concentra sulle pipeline dati

Zendesk ha avuto come problema principale la gestione dei dati. Sami Ghoche ha parlato della ricchezza di dati a disposizione, con oltre 20 miliardi di conversazioni tra clienti. L’idea naturale era consegnare questi dati a grandi modelli linguistici con un contesto esteso, ma Ghoche ha chiarito che non è la soluzione migliore. La chiave sta nell’investire nelle pipeline dati sottostanti per supportare l’elaborazione effettiva.

    • Non affidarsi direttamente ai dati grezzi ai modelli.
    • Costruire infrastrutture adatte alla manipolazione e al controllo dei dati.
    • Assicurarsi che gli agenti operino su dati organizzati e contestuali.

Il ruolo dell’open source

I leader di LinkedIn, Walmart e Zendesk hanno tutti espresso un simile punto di vista sull’open source: quando è possibile, i modelli e l’infrastruttura dovrebbero essere gestiti autonomamente, limitando il ricorso ai laboratori di ricerca frontali solo quando questi hanno un vantaggio evidente.

    • LinkedIn ha costruito una propria “AI gateway” e un sistema di memoria autonoma.
    • Walmart ha creato un gateway interno per il supporto multivendor.
    • Zendesk ha puntato su investimenti interni per il controllo totale delle pipeline e dei dati.

Il vantaggio principale sta nella flessibilità di utilizzare modelli diversi, pubblici o on-premise, mantenendo la stessa API e semantica per tutti loro.

Linee guida per la transizione moderna

I dirigenti hanno rilasciato tre principi chiave per un’implementazione efficiente:

    • Investire nei test: Ghoche ha sottolineato che è il primo passo per rompere il problema in modo sistemico, permettendo una scalabilità maggiore.
    • Ossessionarsi sull’infrastruttura: Gosby ha consigliato di mettere in mano ai dipendenti gli strumenti immediatamente, accompagnati da una governance per tracciare risultati e innovazioni.
    • Costruire per la modularità: Singh ha enfatizzato la costruzione per la massima flessibilità, permettendo cambi di modello o di infrastruttura senza compromettere il workflow.

Riflessione conclusiva

I dirigenti hanno evidenziato che l’integrazione di agenti AI non è semplice, ma il problema non sta nei modelli in sé, bensì nelle infrastrutture tradizionali. La scalabilità richiede interventi su orchestrazione, governance e gestione dei dati. L’esperienza di LinkedIn, Walmart e Zendesk dimostra che, con la giusta visione, l’automazione può procedere in modo sostenibile, integrando l'umanità e la velocità del digitale in modo efficace.