Block, firma płatnicza znana wcześniej jako Square, zaprezentowała Dessa – nowy model głosowy AI wytrenowany w całości na ludzkich rozmowach, a nie na tekście pisanym. Firma poinformowała, że model ma komunikować się w czasie rzeczywistym, rozpoznając przy tym sygnały emocjonalne, przerwania i naturalne wzorce mowy.

Według Blocka Dessa została wytrenowana od podstaw wyłącznie na nagraniach ludzkiej mowy, bez danych tekstowych ani gotowych modeli. W przeciwieństwie do konwencjonalnych asystentów głosowych, którzy zamieniają mowę na tekst przed wygenerowaniem odpowiedzi, Dessa przetwarza i generuje dźwięk bezpośrednio w ramach architektury speech-to-speech.

Model obsługuje jednoczesne słuchanie i mówienie, co pozwala mu przerywać, reagować na pauzy i dostosowywać ton podczas rozmowy. Block poinformował, że Dessa może działać lokalnie na MacBooku Pro wyposażonym w chip Apple M4 Max lub nowszy, bez konieczności korzystania z infrastruktury chmurowej do inferencji – co odróżnia go od większości powszechnie używanych asystentów głosowych, którzy polegają na zdalnych serwerach do przetwarzania poleceń głosowych. Firma opublikowała kilka demonstracji modelu i planuje udostępnić wczesny dostępy małej grupie badaczy bezpieczeństwa AI.

Dessa uczy się komunikacji bez tekstu

Block powiedział, że Dessa powstała, aby zbadać, czy modele AI mogą nabyć umiejętności językowe i konwersacyjne wyłącznie dzięki mowie – w sposób podobny do tego, w jaki ludzie uczą się komunikować, zanim nauczą się czytać.

„Babies learn to talk without ever seeing a word written down. We wanted to see if a model could too. It can.'s just very hard”, powiedziała firma.

Model wykorzystuje to, co Block opisuje jako architekturę pełnego dupleksu, co oznacza, że możenocześnie słuchać i mówić, zamiast czekać, aż rozmówca skończy, by odpowiedzieć. Według Blocka taka konstrukcja pozwala Dessie rozpoznawać śmiech, sarkazm, zmiany tonu i wyrazy emocji, które mogą zostać utracone, gdy mowa jest zamieniana na tekst.

Firma dodała, że Dessa nauczyła się języka, używając setki razy mniejszej liczby słów niż konwencjonalne tekstowe modele językowe, choć nie przedstawiła szczegółowego porównania. Block poinformował również, że model był trenowany na jednym systemie NVIDIA GB200 NVL72, co sugeruje, że rozwój AI skoncentrowany na mowie może wymagać innego podejścia do infrastruktury obliczeniowej.

Demonstracje pokazują możliwości i ograniczenia

W demonstracjach udostępnionych przez kierownika projektu Dessa, Ragavana Thurairatnama, na X – 1, 2 – model prowadzi rozmowy o filmach, reaguje na osobiste historie i wchodzi w interakcje z modelem głosowym OpenAI GPT Live 1, jednym z rosnącej liczby asystentów głosowych działających w czasie rzeczywistym, rozwijanych przez największe firmy technologiczne. Inne przykłady pokazują Dessę biorącą udział w grach w zgadywanie i dostosowującą swoje odpowiedzi w trakcie rozmów.

Niektóre demonstracje ujawniają jednak ograniczenia, w tym przypadki, w których model błędnie identyfikuje rozmówcę lub nieoczekiwanie zmienia temat. Przykłady zostały wybrane i opublikowane przez Block, a wydajność modelu nie została niezależnie oceniona.

Świadomość emocjonalna i bezpieczeństwo AI

Poza możliwościami konwersacyjnymi Block powiedział, że Dessa powstała, aby zbadać, jak systemy AI mogą lepiej rozumieć ludzkie emocje i odpowiednio reagować w sytuacjach wrażliwych. Firma argumentuje, że tradycyjni asystenci głosowi tracą ważne informacje przy konwersji mowy na tekst, w tym oznaki frustracji, niepokoju i zmian emocjonalnych.

„AI keeps gaining power and independence, and it's still nearly deaf to the emotion in our voices”, powiedział zespół Dessa.

Block wskazał na sytuacje, w których osoba doświadczająca silnego bólu może wodzić w interakcję z systemem AI, który nie rozpoznaje jej cierpienia. Firma powiedziała, że jej podejście może pomóc w rozwiązaniu tych ograniczeń, umożliwiając modelom AI interpretowanie sygnałów emocjonalnych bezpośrednio z mowy – pytanie, które zyskuje na znaczeniu, ponieważ konwersacyjny głos staje się coraz powszechniejszym interfejsem produktów AI w całej branży technologicznej.

Projekt jest rozwijany przez niewielki zespół badawczy w Block pod kierownictwem Ragavana Thurairatnama, w skład którego wchodzą osoby wcześniej pracujące w Dessie – torontońskim startupie AI o tej samej nazwie. Badacze podlegają bezpośrednio Jackowi Dorseyowi, współzałożycielowi i dyrektorowi generalnemu Blocka, i od kilku lat rozwijają technologie generatywnej mowy.

Block planuje przyznać wczesny dostęp wybranym badaczom bezpieczeństwa AI, aby identyfikować potencjalne ryzyka i badać, jak zachowują się modele trenowane wyłącznie na mowie. Firma nie ujawniła szerszej daty premiery, wag modelu ani szczegółowych benchmarków wydajności, co sprawia, że program wczesnego dostępu pozostaje głównym kanałem, przez który zewnętrzni obserwatorzy będą mogli poznać możliwości Dessy poza firmowymi przykładami.