Block, het betalingsbedrijf voorheen bekend als Square, heeft Dessa geïntroduceerd, een nieuw AI-stemmodel dat volledig is getraind op menselijke gesprekken in plaats van geschreven tekst. Het bedrijf zei dat het model is ontworpen om in realtime te communiceren en daarbij emotionele signalen, onderbrekingen en natuurlijke spraakpatronen te herkennen.

Volgens Block is Dessa vanaf nul getraind met uitsluitend opnames van menselijke spraak, zonder tekstdata of pretrained modellen. In tegenstelling tot conventionele spraakassistenten, die spraak eerst omzetten naar tekst voordat ze een antwoord genereren, verwerkt en genereert Dessa audio direct via een speech-to-speech-architectuur.

Het model ondersteunt gelijktijdig luisteren en spreken, waardoor het kan onderbreken, kan reageren op pauzes en zijn toon kan aanpassen tijdens gesprekken. Block zei dat Dessa lokaal kan draaien op een MacBook Pro met Apple's M4 Max-chip of beter, zonder dat cloudinfrastructuur nodig is voor inferentie — een afwijking van de meeste veelgebruikte spraakassistenten, die afhankelijk zijn van externe servers om gesproken verzoeken te verwerken. Het bedrijf heeft verschillende demonstraties van het model gepubliceerd en is van plan vroegtijdige toegang te verlenen aan een kleine groep AI-veiligheidsonderzoekers.

Dessa leert communiceren zonder tekst

Block zei dat Dessa is ontwikkeld om te onderzoeken of AI-modellen taal en conversatievaardigheden kunnen verwerven via spraak alleen, op vergelijkbare wijze als hoe mensen leren communiceren voordat ze leren lezen.

“Babies learn to talk without ever seeing a word written down We wanted to see if a model could too. It can.'s just very hard,” aldus het bedrijf.

Het model gebruikt wat Block een full duplex-architectuur noemt, wat betekent dat het tegelijk kan luisteren en spreken in plaats van te wachten tot een persoon klaar is met praten. Block zei dat dit ontwerp Dessa in staat stelt lachen, sarcasme, toonveranderingen en emotionele uitingen te herkennen die verloren kunnen gaan wanneer spraak naar tekst wordt omgezet.

Het bedrijf voegde eraan toe dat Dessa taal heeft geleerd met honderden keren minder woorden dan conventionele tekstgebaseerde taalmodellen, al gaf het geen gedetailleerde vergelijking. Block zei ook dat het model is getraind op één NVIDIA GB200 NVL72-systeem, wat suggereert dat de ontwikkeling van spraakgerichte AI een andere benadering van computerinfrastructure vereist.

Demonstraties laten veelbelovende mogelijkheden en beperkingen zien

In demonstraties gedeeld door Dessa-leider Ragavan Thurairatnam op X — 1, 2 — voert het model gesprekken over films, reageert het op persoonlijke verhalen en gaat het in gesprek met OpenAI's GPT Live 1-stemmodel, een van de groeiende groep realtime-spraakassistenten die door grote technologiebedrijven worden ontwikkeld. Andere voorbeelden laten zien dat Dessa deelneemt aan raadspelletjes en zijn antwoorden tijdens gesprekken aanpast.

Sommige demonstraties onthullen ook beperkingen, waaronder gevallen waarin het model een spreker verkeerd identificeert of onverwacht van onderwerp wisselt. De voorbeelden zijn door Block geselecteerd en gepubliceerd, en de prestaties van het model zijn niet onafhankelijk geëvalueerd.

Emotioneel bewustzijn en AI-veiligheid

Naast conversatievaardigheden zei Block dat Dessa is ontwikkeld om te onderzoeken hoe AI-systemen menselijke emoties beter kunnen begrijpen en adequaat kunnen reageren in gevoelige situaties. Het bedrijf stelt dat traditionele spraakassistenten belangrijke informatie verliezen wanneer ze spraak naar tekst omzetten, waaronder signalen van frustratie, nood en emotionele veranderingen.

“AI keeps gaining power and independence, and it's still nearly deaf to the emotion in our voices,” aldus het Dessa-team.

Block wees op situaties waarin een persoon met ernstige pijn zou kunnen interacteren met een AI-systeem dat diens nood niet herkent. Het bedrijf zei dat zijn aanpak die beperkingen kan helpen adresseren door AI-modellen emotionele signalen direct uit spraak te laten interpreteren — een vraagstuk dat aandacht krijgt nu conversationele spraak een gangvollere interface wordt voor AI-producten in de technologiesector.

Het project wordt ontwikkeld door een klein onderzoeksteam bij Block onder leiding van Ragavan Thurairatnam, met leden die eerder werkten bij Dessa, een AI-startup uit Toronto met dezelfde naam. De onderzoekers rapporteren rechtstreeks aan Jack Dorsey, medeoprichter en ceo van Block, en hebben jarenlang gewerkt aan generatieveaktechnologie.

Block is van plan vroegtijdige toegang te verlenen aan geselecteerde AI-veiligheidsonderzoekers om potentiële risico's te identificeren en te bestuderen hoe modellen die uitsluitend op spraak zijn getraind zich gedragen. Het bedrijf heeft geen bredere releasedatum, modelgewichten of gedetailleerde prestatiebenchmarks bekendgemaakt, waardoor het vroegtijdige-toegangsprogramma het belangrijkste venster is waarmee externe waarnemers waarschijnlijk zullen ontdekken hoe Dessa presteert buiten de eigen voorbeelden van het bedrijf.