Google DeepMind stellt SL2T-Sprachübersetzungsmodell für Gebärdensprache vor

Google DeepMind Sign Language Team

Google DeepMind führt sign-language-to-text (SL2T) ein, ein neues Modell, das Gebärdensprachfunktionen für gehörlose und schwerhörige Nutzerinnen und Nutzer unterstützen soll.

In den vergangenen Jahrzehnten haben KI-Systeme große Fortschritte bei der Verarbeitung gesprochener Sprachen gemacht und automatische Übersetzung, Diktat und Gesprächsschnittstellen für hörende Nutzer ermöglicht. Dieser Fortschritt hat sich jedoch nicht auf die weltweit mehr als 200 Gebärdensprachen oder die geschätzten 70 Millionen gehörlosen und schwerhörigen Menschen ausgeweitet, die sie nutzen.

Google DeepMind sagte, es starte nun ein massiv mehrsprachiges sign-language-to-text-Übersetzungsmodell, das es als Durchbruch bei Qualität und Generalität beschreibt. Erstmals geht die Technologie damit vom Labor in Verbraucherprodukte über. Während akademische Forschende und Technologieunternehmen seit Jahren Gebärdenspracherkennung untersuchen, blieb die Echtzeit-Übersetzung von Gebärden in Text weitgehend auf Forschungsprototypen beschränkt, was den Einsatz von SL2T in Verbraucheranwendungen zu einem bemerkenswerten Meilenstein der Accessibility-KI macht. SL2T unterstützt Gebärden-zu-Text-Diktat in Gboard und Live Transcribe auf Pixel 11, beginnend mit American Sign Language (ASL) zu Englisch. Weitere Geräte folgen in Kürze, und zusätzliche Sprachen werden hinzukommen.

Ähnlich wie hörende Nutzer Diktat verwenden können, um zu sprechen statt zu tippen, ermöglicht diese Funktion gehörlosen Nutzerinnen und Nutzern, ihrem Telefon per Gebärden mitzuteilen, wo sie sonst tippen würden. Man kann Gebärden nutzen, um das Web zu durchsuchen, Nachrichten oder Dokumente zu verfassen und Gemini zu bitten, Anfragen zu lösen oder Aufgaben auszuführen. In Live Transcribe können Nutzer in Gesprächen Antworten per Gebärden eingeben, statt hin und her zu tippen. Laut den Testerinnen und Testern ist das Gebärden in ASL schneller, natürlicher und angenehmer als das Tippen auf Englisch.

SL2T ermöglicht es Nutzerinnen und Nutzern, ihrem Telefon per Gebärden überall dort Eingaben zu machen, wo sie sonst tippen würden.

Warum Gebärdensprachen wichtig sind

Gebärdensprachen sind die Hauptsprachen gehörloser Gemeinschaften weltweit und ein zentraler Bestandteil gehörloser kultureller Identität. Unter gehörlosen Menschen gibt es große Unterschiede im Niveau ihrer Gebärden-, Sprech-, Lese- und Schreibkompetenz, weshalb Unterstützung in allen Modalitäten wichtig ist. Gehörlose Menschen können von der Verarbeitung von Gebärdensprache in derselben Weise profitieren, wie hörende Menschen von der Verarbeitung gesprochener Sprache profitieren; zudem eröffnet die Technologie neue Möglichkeiten, die Kommunikationslücke zwischen gehörlosen und hörenden Gemeinschaften zu überbrücken. Trotz dieses Potenzials verlief der Fortschritt bei KI für Gebärdensprachen langsam – sowohl weil die Entwicklung von KI für Gebärdensprachen komplexe Herausforderungen mit sich bringt als auch weil weit verbreitete Missverständnisse darüber bestehen, wie diese Sprachen selbst funktionieren.

Im Vergleich zur Transkription gesprochener Sprache bringt die Übersetzung von Gebärdensprache zwei zentrale Herausforderungen mit sich. Erstens ist die Transkription von Sprache eine sequentielle Abbildung von Ton zu Text innerhalb derselben Sprache, während Gebärdensprachen eigenständige, natürliche Sprachen mit eigener Grammatik und Lexik sind. Daher erfordern sie echte maschinelle Übersetzung statt eines sequentiellen Prozesses von Gebärden-zu-Wort-Transformationen. Zweitens muss das Modell lernen, körperliche Bewegung zu „sehen“ und zu verstehen. Gebärdensprachen vermitteln Bedeutung durch gleichzeitige Bewegungen von Händen, Armen, Oberkörper, Kopf und Gesicht. Diese bei hohen Bildraten präzise zu verfolgen, ist eine schwierige und rechenintensive Computer-Vision-Aufgabe.

Vor diesem Hintergrund ist leicht nachvollziehbar, warum frühe Versuche mit Gebärdensprachtechnologie, etwa Gebärdensprachhandschuhe, grundsätzlich begrenzt waren: Gebärdensprachen sind nicht einfach „Englisch auf den Händen“. Sie erfordern komplexe visuelle Wahrnehmung fein abgestimmter Ganzkörperbewegungen und eine vollwertige Sprachübersetzung. SL2T ist darauf ausgelegt, beides zu leisten.

SL2T interpretiert Gebärdensprach-Eingaben als Punkte am Körper der gebärdenden Person und übersetzt sie in fortlaufende Textausgaben. Beispiel aus dem FLEURS-ASL-Benchmark.

Wie SL2T funktioniert

Wir haben SL2T entwickelt, indem wir einen nutzerzentrierten, kulturell informierten Ansatz mit massiver Datenskalierung kombiniert haben. Das Modell wurde auf über 100.000 Stunden Daten aus mehr als 50 Gebärdensprachen trainiert – rund ein Viertel davon in ASL. Das gemeinsame Training auf vielfältigen Sprachen, Dialekten und Kompetenzstufen führt dazu, dass das Modell gemeinsame zugrunde liegende Strukturen lernt und in unseren Experimenten einzelne Sprachmodelle übertrifft.

Zum Schutz der Privatsphäre der Nutzer betrachtet SL2T Gebärdensprache als eine Sequenz von Pose-Landmark-Positionen statt als Rohdaten eines Kamerabildes. Ein On-Device-Modell (MediaPipe Holistic) verfolgt die Position von Punkten an der gebärdenden Person, und nur diese geometrischen Koordinaten werden zur Übersetzung an den Server gesendet, sodass das ursprüngliche Video sofort verworfen werden kann.

SL2T übersetzt diese Koordinatenfolge direkt in Text und umgeht dabei Zwischennotationen, die als „Glossen“ bekannt sind und in früheren Arbeiten zur Gebärdensprachübersetzung weit verbreitet sind. Glossen erfassen nicht die reichhaltigen, nichtlinearen Aspekte von Gebärdensprachen wie nicht-manuelle Marker und räumliche Konstruktionen. Die direkte Übersetzung aus Landmarken beseitigt künstliche Wortschatzgrenzen und ermöglicht es, dass die Übersetzungsqualität direkt mit den Daten skaliert.

SL2T ist laut wichtigen Benchmarks wie FLEURS-ASL (sd-test), das die Qualität der Übersetzung von ASL nach Englisch misst, das bislang leistungsfähigste Modell für Gebärdensprachübersetzung. SL2T erreicht einen bemerkenswerten Zero-Shot-Wert von 70 BLEURT, der deutlich höher ist als jeder zuvor berichtete Wert. Doch die Optimierung akademischer Benchmarks allein garantiert keine Nutzbarkeit in realen Anwendungen, daher haben wir intensiv an praktischen Themen gearbeitet, etwa der Minimierung von Streaming-Latenzen, der Vermeidung von Halluzinationen bei Nicht-Gebärden-Eingaben, der Gewährleistung von Fairness für die 10% der Gebärdenden, die linkshändig sind, sowie der Verbesserung der Leistung bei einhändiger Gebärdensprachnutzung, wie sie beim Halten eines Smartphones in der anderen Hand vorkommt.

Beispiele aus dem FLEURS-ASL-Benchmark. SL2T übersetzt komplexes ASL präzise in flüssiges Englisch. Einzelne Fehler bleiben bei seltenen Gebärden, schnellem Fingeralphabet ("prey" → "grey"), Passivkonstruktionen, Klassifikator-Darstellungen (Auslassung von "claws") und Tempus ohne Kontext ("kicked off" → "start").

Entwicklung mit der Community

Wir glauben daran, mit der gehörlosen Gemeinschaft zu entwickeln, nicht nur für sie. Gehörlose Perspektiven haben jede Phase dieses Projekts geprägt – von der Konzeption durch Sam Sepah, einen gehörlosen Googler, über die Datenerhebung mit gehörlosen Partnern, die Evaluation in Nutzerstudien mit gehörlosen Personen bis hin zur Wirkungsbewertung der Technologie mit gehörlosen Expertinnen und Experten.

Um einen verantwortungsvollen Einsatz in der Praxis zu steuern, haben wir das AI Sign Language Advisory Committee (AISLAC) eingerichtet, das viele globale gehörlose Organisationen und Fachexpertinnen und -experten zusammenbringt. Durch dieses partizipative Governance-Modell beeinflussen die von unserer Technologie am stärksten betroffenen Gemeinschaften direkt unsere Entwicklungsprioritäten. Für die Veröffentlichung von SL2T 1.0 in Gboard und Live Transcribe haben wir gemeinsam einen Wirkungsbericht verfasst, der die Fähigkeiten und aktuellen Grenzen der Technologie transparent darlegt – ein kooperativer Ansatz, den wir für alle wichtigen Gebärdensprach-Veröffentlichungen fortsetzen wollen.

Ausblick

SL2T baut auf jahrzehntelanger Grundlagenforschung aus Wissenschaft und Industrie auf, doch ASL-Eingaben auf die Telefone der Nutzer zu bringen, ist erst der Anfang. Googles Mission ist es, die Informationen der Welt zu organisieren und allgemein zugänglich und nützlich zu machen. Universelle Zugänglichkeit bedeutet, vollständige Gleichwertigkeit mit gesprochenen und geschriebenen Sprachen zu erreichen. Unser Team arbeitet daran, diese Technologie auf weitere Gebärdensprachen, die Erzeugung von Gebärdensprache und Frontier-AI-Fähigkeiten auszuweiten. Wir freuen uns darauf, unsere Fortschritte verantwortungsvoll zu teilen, damit Zugang über Gebärdensprachen in der digitalen Landschaft zum Standard wird.

Sie können SL2T in Gboard und Live Transcribe zunächst auf Pixel 11 erleben; weitere Geräte folgen in Kürze – ohne zusätzliche Kosten.

Danksagungen

Diese Arbeit wurde gemeinsam von Teams aus Google DeepMind und Android durchgeführt. Das Kernteam, das das SL2T-Modell entwickelt hat, besteht aus Garrett Tanzer, Benoit Brard, Elizabeth Clark, Tim Dozat, Sebastian Ebert, Dan Garrette, Manfred Georg, Vicky Holgate, Shankar Kumar, Mohammad Saboorian, Miloš Stanojević, Megh Umekar, John Wieting, Andy Zhang und Chris Dyer.

Das Android-Team, das das Modell in Gboard und Live Transcribe integriert hat, besteht aus Ausmus Chang, Sai Aditya Chitturu, Dayle Chiu, Anna Chou, Ajay Dudani, Angana Ghosh, Alex Huang, Joanne Kim, Ed Lee, Thomas Lin, James Su, Yanchao Su und Sharlene Yuan.

Wir danken außerdem Anelia Angelova, Abhishek Bapna, Sara Basson, Glenn Cameron, Scott Crowell, Trevor Cohn, Noah Fiedel, Zoubin Ghahramani, Raia Hadsell, Tom Hudson, Alexander Hauerslev Jensen, Kazuya Kawakami, Peike Li, Liam McCafferty, Caroline Pantofaru, Abhinav Parashar, Christopher Patnoe, Laura Rimell, Sam Sepah, Thad Starner, Dave Uthus und Biao Zhang für zusätzliche Unterstützung.

Ein besonderer Dank gilt auch allen, die an den frühen Testphasen unserer Modelle teilgenommen haben.