Perché i costi dei modelli proprietari esplodono
Gli ultimi modelli di ChatGPT e Claude sono strumenti potenti, ma le aziende li impiegano spesso per compiti che non richiedono la massima sofisticazione. Gartner ha analizzato casi in cui le imprese utilizzano questi sistemi per smistare le richieste dei clienti, un’attività tipicamente semplice e ripetitiva. Quando l’operazione viene eseguita migliaia o milioni di volte, il consumo di token e la fatturazione per token si traducono in costi estremamente elevati.
Secondo la nota ripresa da The Register, le imprese dovrebbero smettere di affidare ogni attività ai modelli AI più avanzati e assegnare il lavoro in modo più efficiente, scegliendo la soluzione più adeguata alle capacità richieste.
Modelli a pesi aperti: la risposta più economica
Gran parte della giornata di un agente software è fatta di mansioni di concetto: classificare informazioni, chiamare programmi, verificare risultati, far combaciare elenchi di dati. Per questi compiti, Gartner afferma che i modelli a pesi aperti raggiungono risultati comparabili a quelli dei modelli proprietari, ma con costi nettamente inferiori.
I parametri di questi modelli sono accessibili, consentendo alle aziende di scaricarli e farli girare sui propri server o su infrastrutture di terze parti, mantenendo così il controllo sui dati.
Quanto si risparmia davvero
- A parità di punteggio, il costo scende a un quarto rispetto al modello chiuso più economico.
- Se il confronto è con un modello di punta usato costantemente, il vantaggio può arrivare a venti volte.
Tuttavia, questi numeri rappresentano scenari ideali. I modelli aperti tendono a generare più output e a richiedere più tentativi per raggiungere la risposta desiderata, consumando risorse aggiuntive. Anche così, il costo per operazione resta da cinque a sei volte inferiore rispetto ai modelli di frontiera.
La memoria come patrimonio aziendale
Un aspetto meno ovvio, ma cruciale, è la memoria degli agenti. Ogni decisione, ogni strumento utilizzato e ogni risultato prodotto costituiscono un “diario di bordo” che diventa un vero e proprio patrimonio di conoscenza per l’impresa.
Quando un’azienda viene acquisita, questo registro permette di comprendere come viene utilizzato il servizio e come ragionano gli agenti, aggiungendo valore al prezzo di vendita. Al contrario, se il diario di bordo è lasciato inaccessibile, si regala un tesoro informativo ai concorrenti.
Attenzione ai trabocchetti dei modelli aperti
Accedere ai pesi di un modello non garantisce automaticamente che i dati rimangano all’interno dei confini aziendali. Molti modelli aperti sono offerti tramite API gestite da fornitori terzi, il che può far viaggiare il diario di bordo fuori dall’ambiente controllato.
Per preservare la privacy e la sicurezza, le imprese devono scegliere con cura dove ospitare il modello e definire regole precise di conservazione dei dati, evitando che informazioni sensibili escano dal perimetro aziendale.
Il futuro secondo Gartner: dominio dei modelli aperti entro il 2030
Gartner prevede che entro il 2030 i modelli aperti specializzati avranno un ruolo dominante. Essi gestiranno i passaggi stabili e ripetitivi, eseguiti milioni di volte al mese, liberando i modelli più costosi e brillanti per compiti di alta complessità e valore aggiunto.
In questo scenario, le aziende potranno ottimizzare le spese operative, mantenere il controllo dei dati e creare un vantaggio competitivo basato sulla conoscenza accumulata nei diari di bordo.