Centinaia di leader dell'industria e esperti tecnici si sono riuniti questa settimana nella sala principale dell'elegante Hotel Nia a Menlo Park per l'evento VB Transform 2026, la conferenza leader dell'anno dedicate all'uso degli agenti basati su Intelligenza Artificiale Generativa per raggiungere obiettivi aziendali.

Il concetto di Sovranità nel contesto di Cohere

Rachad Alao, vicepresidente dell'ingegneria del prodotto di Cohere, uno dei nuovi player emergenti nella startup canadese di AI aziendale, ha partecipato a un dibattito con il fondatore e CEO di VentureBeat, Matt Marshall, affrontando il tema fondamentale: la costruzione di sistemi ad agenti senza sacrificare dati sensibili, il controllo infrastrutturale né la capacità di cambiare fornitori.

Con esperienze maturate nei team di AI responsabile e Trust & Safety presso Google e Meta, Alao ha chiarito che la sovranità in AI significa ben oltre scaricare un modello open-source o far girare un’applicazione dietro un firewall aziendale.

Quando gli è stato chiesto come Cohere definisce la sovranità, Alao ha sottolineato che le organizzazioni che gestiscono sistemi critici - come banche, ospedali e governi - richiedono un controllo rigoroso su dove risiedano i dati, oltreché su tutta l'AI. Alao ha sostenuto che le operazioni di AI devono essere realizzate in giurisdizioni di cui l'organizzazione ha piena comprensione o controllo diretto.

Questo aspetto si estende dagli aspetti hardware (come GPU e infrastruttura cloud privato) fino ai sistemi di governance, che indirizzano le richieste tra modelli, attraverso i connettori, gli strumenti di ricerca e i framework ad agenti che operano su dati aziendali.

Agenti e il rapporto con il costo delle token

Marshall ha sfidato una delle argomentazioni principali a favore di modelli locali più piccoli: i costi di inferenza continuano a scendere rapidamente, indebolendo il caso per ottimizzare ogni token.

Alao ha evidenziato che il consumo totale sta salendo più velocemente, poiché le imprese passano dagli chatbot semplici ad agenti che risolvono problemi, attivano strumenti, consultano sistemi interni ed eseguono diversi passaggi prima di dare una risposta.

“L’uso complessivo delle token sta crescendo esponenzialmente, visto che si tratta di casi d'uso di agenti sempre più complessi,” ha affermato. Ha notato che questi flussi di lavoro richiedono una quantità significativa di elaborazione, ragionamento e interazioni strumentali, per completare gli obiettivi.

Alao ha anche distinto i fornitori che fatturano i clienti in base al consumo di token da Cohere, precisando che non vendono i modelli né la piattaforma in quel modo. La sua ricetta è stata diretta: “Utilizza il modello giusto per il compito a mano.”

Le imprese non dovrebbero inviare ogni richiesta al modello più grande disponibile, ma assegnare il lavoro in base all'intelligenza richiesta e al livello di sensibilità o impegno regolamentare connesso al compito. Un esempio fornito da Alao riguarda uno sconosciuto istituto bancario canadese che utilizza i modelli on-premises di Cohere per carichi di lavoro altamente regolamentari, indirizzando invece i compiti meno sensibili verso le piattaforme di Cohere per modelli più grandi grazie alla North platform.

Modelli open-source e routing

Il dibattito ha toccato anche North Mini Code, un modello open-source appena rilasciato da Cohere. Chiesto come potesse competere con modelli proprietari di coding, Alao ha riconosciuto che i modelli più grandi forse mostrano una leggera superiorità su compiti complessi.

Ciononostante, tale vantaggio non giustifica il loro utilizzo indiscriminato: “Nel 80% dei casi in cui si preveda l'uso, North Mini Code è molto più efficiente e decisamente più economico,” ha affermato. North Mini Code funziona su una singola GPU Nvidia H100 e si dedica all'engineering ad agenti software, per compiti come lavoro in terminale, analisi del codice e utilizzo di strumenti.

Inoltre, Cohere ha lanciato Command A+, un modello Mixture-of-Experts da 218 miliardi di parametri, solo 25 miliardi dei quali attivi in ogni passo generativo. La versione a quattro bit riduce il hardware necessario per la distribuzione privata, con una licenza Apache 2.0 che fornisce ai clienti ampia libertà operativa e di modifica.

All'audience, Alao ha ricordato l'importanza di selezionare il modello corretto a seconda della complessità e della sensibilità dei dati, per massimizzare l'efficienza e minimizzare i costi.

Cerca diventa parte integrante dell'agente

Quando gli è stato chiesto sul lavoro di Cohere nel campo degli embeddings e della ricerca aziendale, Alao ha spiegato che il settore evolve al di là della semplice recupero testuale. “Oggi lo stato dell'arte si concentra sulla ricerca multimodale; non siamo più limitati alla sola modalità testuale,” ha dichiarato. L’abilità di ricercare documenti, immagini e varie informazioni è diventata “un componente essenziale del flusso di lavoro ad agenti”, ha sottolineato.

Ha aggiunto che i modelli decidono quando e come utilizzare le informazioni recuperabili, come qualsiasi altro strumento a disposizione. Questa integrazione della ricerca con l'agente consente di fornire informazioni contestuali più complete e di migliorare l'efficacia del modello nell’atto del ragionamento basato su dati aziendali complessi.

Dal controllo dei dati al disaccoppiamento dai fornitori

Quando gli è stato chiesto cosa potrebbe convincere le aziende ad abbandonare i servizi di AI bundling offerti da fornitori cloud esistenti, Alao è tornato sull'esigenza di controllo e portabilità dei dati. “Se sei interessato alla sovranità, desideri controllare di più i propri dati,” ha evidenziato.

I livelli di governance offerti da Cohere, ha precisato, permettono ai clienti di indirizzare il traffico verso modelli idonei, rompendo i problemi di “lock-in” di cui soffre molte aziende attualmente. Questo controllo è uno spettro chiave per Cohere, che punta su libertà tecnologica e operativa, mantenendo la flessibilità e la sovranità nell’ambito del proprio stack AI aziendale.