Block, das Zahlungsu0nternehmenformerly known as Square, hat Dessa vorgestellt, ein neues KI-Sprachmodell, das ausschließlich auf menschlichen Gesprächen statt auf geschriebenen Texten trainiert wurde. Das Unternehmen erklärte, das Modell sei darauf ausgelegt, in Echtzeit zu kommunizieren und dabei emotionale Signale, Unterbrechungen und natürliche Sprachmuster zu erkennen.

Laut Block wurde Dessa von Grund auf ausschließlich mit Aufnahmen menschlicher Sprache trainiert, ohne Textdaten oder vortrainierte Modelle. Im Unterschied zu herkömmlichen Sprachassistenten, die Sprache erst in Text umwandeln, bevor sie eine Antwort generieren, verarbeitet und erzeugt Dessa Audio direkt über eine Speech-to-Speech-Architektur.

Das Modell unterstützt gleichzeitiges Zuhören und Sprechen, sodass es unterbrechen, auf Pausen reagieren und seinen Ton während eines Gesprächs anpassen kann. Block teilte mit, dass Dessa lokal auf einem MacBook Pro mit Apples M4-Max-Chip oder besser laufen kann, ohne Cloud-Infrastruktur für die Inferenz zu benötigen – eine Abkehr von den meisten gängigen Sprachassistenten, die auf entfernte Server zur Verarbeitung gesprochener Anfragen angewiesen sind. Das Unternehmen hat mehrere Demonstrationen des Modells veröffentlicht und plant, einer kleinen Gruppe von KI-Sicherheitsforschern frühzeitigen Zugang zu gewähren.

Dessa lernt Kommunikation ohne Text

Block zufolge wurde Dessa entwickelt, um zu erforschen, ob KI-Modelle Sprache und Konversationsfähigkeiten allein durch gesprochene Sprache erwerben können – ähnlich wie Menschen lernen zu kommunizieren, bevor sie lesen lernen.

„Babys lernen sprechen, ohne je ein geschriebenes Wort zu sehen. Wir wollten wissen, ob ein Modell das auch kann. Es kann. Es ist nur sehr schwer“, erklärte das Unternehmen.

Das Modell nutzt eine von Block als Vollduplex-Architektur bezeichnete Konstruktion, das heißt, es kann gleichzeitig zuhören und sprechen, statt zu warten, bis eine Person fertig gesprochen hat. Block zufolge ermöglicht dieses Design Dessa, Lachen, Sarkasmus, Tonlagenwechsel und emotionale Ausdrücke zu erkennen, die bei der Umwandlung von Sprache in Text verloren gehen könnenn
Das Unternehmen fügte hinzu, dass Dessa Sprache mit hunderte Male weniger Wörtern gelernt habe als herkömmliche textbasierte Sprachmodelle, wobei es keinen detaillierten Vergleich lieferte. Block erklärte außerdem, das Modell sei auf einem einzelnen NVIDIA-GB200-NVL72-System trainiert worden, was darauf hindeute, dass sprachfokussierte KI-Entwicklung möglicherweise einen anderen Ansatz bei der Recheninfrastruktur erfordert.

Demonstrationen zeigen Potenzial und Grenzen

In Demonstrationen, die Dessa-Leiter Ragavan Thurairatnam auf X geteilt hat – 1, 2 – führt das Modell Gespräche über Filme, reagiert auf persönliche Geschichten und interagiert mit OpenAIs Sprachmodell GPT Live 1, einem einer wachsenden Zahl von Echtzeit-Sprachassistenten, die von großen Technologieunternehmen entwickelt werden. Weitere Beispiele zeigen Dessa bei Ratespielen und bei der Anpassung seiner Antworten im Gespräch.

Einige Demonstrationen offenbaren jedoch auch Grenzen, darunter Fälle, in denen das Modell einen Sprecher falsch zuordnet oder unerwartet das Thema wechselt. Die Beispiele wurden von Block ausgewählt und veröffentlicht; die Leistung des Modells wurde nicht unabhängig bewertet.

Emotionales Bewusstsein und KI-Sicherheit

Über die Konversationsfähigkeiten hinaus wurde Dessa nach Angaben von Blocks entwickelt, um zu untersuchen, wie KI-Systeme menschliche Emotionen besser verstehen und in sensiblen Situationen angemessen reagieren können. Das Unternehmen argumentiert, dass herkömmliche Sprachassistenten wichtige Informationen verlieren, wenn sie Sprache in Text umwandeln – darunter Anzeichen von Frustration, Not und emotionalen Veränderungen.

„KI gewinnt ständig an Macht und Unabhängigkeit, und sie ist trotzdem noch fast taub für die Emotion in unseren Stimmen“, erklärte das Dessa-Team.

Block verwies auf Situationen, in denen eine Person mit starken Schmerzen mit einem KI-System interagieren könnte, das ihre Not nicht erkennt. Der Ansatz des Unternehmens könnte helfen, diese Grenzen zu adressieren, indem KI-Modelle emotionale Signale direkt aus der Sprache interpretieren – eine Frage, die an Bedeutung gewinnt, da sprachbasierte Konversation zu einer häufigeren Schnittstelle für KI-Produkte in der gesamten Technologiebranche wird.

Das Projekt wird von einem kleinen Forschungsteam bei Block unter der Leitung von Ragavan Thurairatnam entwickelt, dessen Mitglieder zuvor bei Dessa arbeiteten, einem in Toronto ansässigen KI-Startup desselben Namens. Die Forscher berichten direkt an Jack Dorsey, den Mitgründer und Chief Executive von Block, und haben mehrere Jahre an generativen Sprachtechnologien gearbeitet.

Block plant, ausgewählten KI-Sicherheitsforschern frühzeitigen Zugang zu gewähren, um potenzielle Risiken zu identifizieren und zu untersuchen wie sich Modelle verhalten, die ausschließlich auf Sprache trainiert wurden. Das Unternehmen hat keinen breiteren Release-Termin, Modellgewichte oder detaillierte Leistungsbenchmarks genannt, sodass das Early-Access-Programm das Hauptfenster bleibt, durch das externe Beobachter wahrscheinlich erfahren werden, wie Dessa über die eigenen Beispiele des Unternehmens hinaus abschneidet.