Block, la società di pagamenti già nota come Square, ha presentato Dessa, un nuovo modello di voce AI addestrato interamente su conversazioni umane anziché su testo scritto. La società ha dichiarato che il modello è progettato per comunicare in tempo reale riconoscendo segnali emotivi, interruzioni e schemi di linguaggio naturale.

Secondo Block, Dessa è stato addestrato da zero utilizzando esclusivamente registrazioni di parlato umano, senza dati testuali o modelli preaddestrati. A differenza dei tradizionali assistenti vocali, che convertono la voce in testo prima di generare una risposta, Dessa elabora e genera audio direttamente tramite un'architettura da parlato a parlato.

Il modello supporta ascolto e parlato simultanei, consentendogli di interrompere, rispondere alle pause e adattare il tono durante le conversazioni. Block ha dichiarato che Dessa può girare in locale su un MacBook Pro dotato di chip M4 Max di Apple o superiore, senza richiedere infrastrutture cloud per l'inferenza — una svolta rispetto alla maggior parte degli assistenti vocali più diffusi, che dipendono da server remoti per elaborare le richieste vocali. La società ha pubblicato diverse dimostrazioni del modello e prevede di offrire un accesso anticipato a un ristretto gruppo di ricercatori di sicurezza AI.

Dessa impara a comunicare senza testo

Block ha dichiarato che Dessa è stato sviluppato per esplorare se i modelli AI possano acquisire il linguaggio e le capacità conversazionali solo attraverso la voce, in modo simile a come gli esseri umani imparano a comunicare prima di imparare a leggere.

"I bambini imparano a parlare senza mai vedere una parola scritta. Volevamo vedere se un modello potesse farlo anch'esso. Può. È semplicemente molto difficile," ha dichiarato la società.

Il modello utilizza quella che Block descrive come un'architettura full duplex, il che significa che può ascoltare e parlare allo stesso tempo anziché attendere che una persona finisca di parlare prima di rispondere. Block ha spiegato che questo design consente a Dessa di riconoscere risate,asmo, cambi di tono ed espressioni emotive che possono andare persi quando la voce viene convertita in testo.

La società ha aggiunto che Dessa ha appreso il linguaggio con centinaia di volte meno parole rispetto ai tradizionali modelli linguistici basati su testo, pur non fornendo un confronto dettagliato. Block ha inoltre dichiarato che il modello è stato addestrato su un singolo sistema NVIDIA GB200 NVL72, suggerendo che lo sviluppo di AI orientata alla voce potrebbe richiedere un approccio diverso all'infrastruttura di calcolo.

Le dimostrazioni mostrano potenzialità e limiti

Nelle dimostrazioni condivise dal responsabile di Dessa, Ragavan Thurairatnam, su X — 1, 2 — il modello conversa su film, risponde a storie personali e interagisce con il modello vocale GPT Live 1 di OpenAI, uno dei numerosi assistenti vocali in tempo reale in sviluppo da parte delle grandi aziende tecnologiche. Altri esempi mostrano Dessa partecipare a giochi di indovinelli e adattare le proprie risposte durante le conversazioni.

Alcune dimostrazioni rivelano anche limiti, inclusi casi in cui il modello identifica erroneamente un interlocutore o cambia argomento inaspettatamente. Gli esempi sono stati selezionati e pubblicati da Block, e le prestazioni del modello non sono state valutate in modo indipendente.

Consapevolezza emotiva e sicurezza AI

Oltre alle capacità conversazionali, Block ha dichiarato che Dessa è stato sviluppato per indagare come i sistemi AI potrebbero comprendere meglio le emozioni umane e rispondere in modo appropriato in situazioni delicate. La società sostiene che i tradizionali assistenti vocali perdano informazioni importanti quando convertono la voce in testo, inclusi segnali di frustrazione, disagio e cambiamenti emotivi.

"L'AI continua ad acquisire potere e indipendenza, ed è ancora quasi sorda all'emozione nelle nostre voci," ha dichiarato il team di Dessa.

Block ha citato situazioni in cui una persona che avverte un forte dolore potrebbe interagire con un sistema AI che non riesce a riconoscere il suo disagio. La società ha affermato che il suo approccio potrebbe contribuire ad affrontare tali limiti consentendo ai modelli AI di interpretare direttamente i segnali emotivi dal parlato — una questione che sta acquisendo rilevanza man mano che la conversazione vocale diventa un'interfaccia sempre più comune per i prodotti AI nel settore tecnologico.

Il progetto è sviluppato da un piccolo team di ricerca di Block guidato da Ragavan Thurairatnam, con membri che hanno lavorato in precedenza in Dessa, una startup AI con sede a Toronto dal nome omonimo. I ricercatori riportano direttamente a Jack Dorsey, cofondatore e amministratore delegato di Block, e hanno trascorso diversi anni a sviluppare tecnologie di parlato generativo.

Block prevede di concedere un accesso anticipato a ricercatori di sicurezza AI selezionati, per identificare potenziali rischi e studiare il comportamento di modelli addestrati esclusivamente sulla voce La società non ha divulgato una data di rilascio più ampia, i pesi del modello né benchmark dettagliati sulle prestazioni, lasciando il programma di accesso anticipato come principale finestra attraverso cui gli osservatori esterni potranno capire come si comporta Dessa al di fuori degli esempi della stessa società.