Che cosa sono i message threads di Claude

Anthropic ha aperto in beta pubblica i message threads, un nuovo modo di usare l’API di Claude. Invece di inviare l’intera cronologia della conversazione a ogni chiamata, l’applicazione invia la conversazione completa una sola volta e poi soltanto i messaggi nuovi. Questo approccio consente di ridurre il time to first token, cioè l’attesa prima che Claude inizi a rispondere.

Secondo le stime di Anthropic, il tempo medio prima del primo token cala di circa 35 % in mediana quando le richieste contengono tra 500 000 e un milione di token. Il miglioramento è più evidente in scenari con numerose richieste in una singola sessione, come gli agenti che scrivono codice, usano un computer o gestiscono flussi con molti documenti o immagini.

Come funziona tecnicamente

Per l’applicazione che chiama l’API, il cambiamento si riduce a un singolo parametro, thread. Quando thread è impostato a true, la prima chiamata invia la conversazione completa (istruzioni di sistema, strumenti, ecc.). Le richieste successive contengono solo i messaggi nuovi e l’identificatore dell’ultima risposta. In pratica, buona parte del lavoro dell’API riguarda soltanto l’ultimo turno.

Gli agenti che usano il computer traggono particolare beneficio, perché gli screenshot restano nel thread anziché dover essere ricaricati ad ogni passo.

Limiti del risparmio: i costi dei token rimangono gli stessi

Il guadagno di tempo non si traduce in una riduzione dei costi. Claude rilegge comunque l’intera conversazione a ogni passaggio, quindi il numero di token consumati e i prezzi restano invariati rispetto al modello tradizionale. Questo è particolarmente critico per le aziende, poiché molti agenti AI stanno “bucando” i budget:

    • 8×8 ha ammesso che il consumo di token di Claude in produzione erode i propri margini.
    • Uber ha bruciato in quattro mesi l’intero budget AI annuale.

Su questa voce i thread non hanno alcun impatto.

Strategie per ridurre i token

Il modo più efficace per contenere i costi è ridurre il contesto da elaborare. Alcuni esempi pratici includono:

    • Un plugin che elimina il 79 % dei token mantenendo la stessa qualità di risposta.
    • Riassunti automatici che condensano le conversazioni prima di aprire un nuovo thread.

Con meno token da elaborare, anche l’attesa tende ad accorciarsi, ma il risparmio dipende dalla lunghezza della conversazione.

Durata e gestione dei thread

Un thread è una copia temporanea della conversazione conservata in memoria, cifrata e mai scritta su disco. Un thread scade cinque minuti dopo l’ultima richiesta. L’API lo cancella al più tardi un’ora dopo l’ultimo uso; se una nuova chiamata arriva dopo la scadenza, restituisce un errore 404.

Di conseguenza, se un agente resta inattivo per più di cinque minuti (ad esempio in attesa di approvazione umana o di un’operazione lunga), il thread sarà scaduto e la successiva richiesta dovrà rimandare l’intera conversazione, perdendo il vantaggio di latenza.

Gli SDK di Anthropic includono un’utilità che gestisce automaticamente la ripartenza, ma la prima chiamata dopo la scadenza tornerà ai tempi tradizionali.

Conformità e restrizioni

Per i dati regolamentati, i thread presentano limitazioni importanti:

    • Non sono idonei alla modalità Zero Data Retention (ZDR), che garantisce che le richieste non siano memorizzate dopo l’elaborazione.
    • Le organizzazioni che hanno attivato la HIPAA readiness vedono rifiutate le richieste con thread, ricevendo un errore 400.

Queste restrizioni escludono di fatto le aziende che devono rispettare normative sanitarie o politiche di conservazione zero dei dati.

Impatto sui limiti di frequenza e sul pricing

Le tariffe, i limiti di frequenza e le politiche di prompt caching rimangono invariate. Il prompt caching si attiva solo se richiesto esplicitamente con il parametro cache_control, indipendentemente dall’uso dei thread.

Le richieste in batch, il conteggio dei token e la compattazione su richiesta della conversazione non sono influenzati dai thread. Quando una sessione diventa troppo lunga, è necessario aprire un nuovo thread a partire da un riassunto prodotto dall’applicazione.

Disponibilità della funzione

Al momento, la funzionalità è ancora in beta e richiede un’intestazione dedicata. È disponibile su:

    • Claude Platform
    • Claude Platform on AWS
    • Microsoft Foundry
    • Claude Models on Google Cloud (gestito da Anthropic)

Considerazioni finali per le imprese

Il vantaggio principale dei message threads è la riduzione della latenza nelle conversazioni lunghe, ma la bolletta dei team che portano gli agenti in produzione rimane invariata. Il 35 % di miglioramento del tempo al primo token è un punto di partenza da misurare su casi d’uso reali, soprattutto per agenti di coding o flussi ricchi di documenti.

Le decisioni di attivare la funzione dovranno tenere conto di:

    • La durata media delle sessioni (se superiore a cinque minuti, il beneficio può evaporare).
    • Le esigenze di conformità (HIPAA, ZDR).
    • Il modello di consumo dei token e il budget disponibile.

In sintesi, i message threads di Claude offrono un significativo guadagno di tempo per carichi di lavoro intensivi, ma non risolvono il problema più pressante delle aziende: il costo dei token consumati.