Una rivoluzione nella sintesi vocale

Block ha presentato Dessa, il primo modello di sintesi vocale full‑duplex in grado di parlare e ascoltare contemporaneamente, operando su un singolo rack di GPU Nvidia. A differenza dei tradizionali sistemi di sintesi, che richiedono un modello di linguaggio esterno per recuperare conoscenze, Dessa trae le proprie informazioni direttamente dai dati conversazionali con cui è stato addestrato.

Secondo l’azienda, la voce è il modo più naturale di interagire con l’intelligenza artificiale. Per questo motivo hanno costruito un modello che incorpora emozioni, pause, risate e persino lamenti, rendendo l’esperienza molto più simile a una conversazione umana.

Caratteristiche tecniche

    • Modello full‑duplex: parla e ascolta simultaneamente.
    • Addestramento esclusivo su registrazioni vocali umane.
    • Funziona localmente su GPU consumer, ad esempio un MacBook M4 Max.
    • Non richiede un grande modello di linguaggio per il recupero delle informazioni.

Confronto con le soluzioni esistenti

Molti sistemi attuali, come ElevenLabs v4 o Fish Audio Drama 3, utilizzano “voice tag” per indirizzare le emozioni, ma questi tag rimangono esterni al motore vocale. Block sostiene che in Dessa l’emozione è integrata direttamente nel modello, eliminando la necessità di metadati aggiuntivi.

Nel blog ufficiale Block ha criticato i sistemi vocali attuali definendoli “annoying” perché convertono la voce in testo, perdendo così sfumature emotive cruciali. La società afferma che questa perdita di informazioni può compromettere l’esperienza e, in alcuni casi, risultare pericolosa.

Esempi dimostrativi

Gli sviluppatori hanno condiviso diverse conversazioni in cui Dessa assumeva toni diversi a seconda del contesto: quando il bot affermava di essere stanco, la sua voce trasmetteva effettivamente affaticamento. In un altro scenario, il modello rispondeva a una prova di gioco, indovinando correttamente le risposte al primo tentativo.

Un video mostrava un membro del team Block impegnato in un gioco di indovinelli con l’assistente vocale, evidenziando la capacità di risposta rapida e la flessibilità emotiva del modello.

Accessibilità e sicurezza

Attualmente Dessa non è disponibile al pubblico; Block ha lanciato una call per ricercatori di sicurezza al fine di testare potenziali rischi, come la capacità del modello di ingannare gli interlocutori. La fase di testing mira a identificare vulnerabilità prima di un eventuale rilascio più ampio.

La possibilità di eseguire il modello su hardware consumer apre scenari d’uso sia per le piccole imprese sia per gli utenti finali, riducendo i costi rispetto a soluzioni basate su cloud.

Implicazioni per il business

Block, noto per le sue soluzioni finanziarie, utilizza già l’intelligenza vocale in Square per la gestione degli ordini. Con Dessa, l’azienda prevede di espandere l’uso della voce a ulteriori servizi, migliorando l’interazione cliente‑azienda e potenzialmente creando nuovi flussi di reddito.

In sintesi, Dessa rappresenta un passo significativo verso una comunicazione AI più umana e locale, ma il suo futuro dipenderà dalla capacità di garantire sicurezza e affidabilità in scenari reali.