Google DeepMind présente le modèle de traduction en langue des signes SL2T

Google DeepMind Sign Language Team

Google DeepMind présente sign-language-to-text (SL2T), un nouveau modèle conçu pour alimenter des fonctionnalités de langue des signes pour les utilisateurs sourds et malentendants.

Au cours des dernières décennies, les systèmes d’IA ont réalisé d’importants progrès dans le traitement des langues parlées, en permettant la traduction automatique, la dictée et des interfaces conversationnelles pour les utilisateurs entendants. Toutefois, ces avancées ne se sont pas étendues aux plus de 200 langues des signes dans le monde ni aux quelque 70 million de personnes sourdes et malentendantes qui les utilisent.

Google DeepMind a indiqué qu’il lançait désormais un modèle de traduction de la langue des signes vers le texte, massivement multilingue, qu’il décrit comme une avancée en matière de qualité et de généralité. Pour la première fois, cette technologie passe du laboratoire aux produits grand public. Si des chercheurs universitaires et des entreprises technologiques explorent la reconnaissance de la langue des signes depuis des années, la traduction en temps réel de la langue des signes vers le texte est restée en grande partie limitée à des prototypes de recherche, faisant du déploiement de SL2T dans des applications grand public une étape notable de l’IA d’accessibilité. SL2T alimente la dictée de la langue des signes dans Gboard et Live Transcribe sur Pixel 11, en commençant par la traduction de l’American Sign Language (ASL) vers l’anglais. D’autres appareils arriveront bientôt, et d’autres langues suivront.

À l’image de la dictée vocale pour les utilisateurs entendants, cette fonctionnalité permet aux utilisateurs sourds de signer vers leur téléphone partout où ils taperaient normalement du texte. Ils peuvent signer pour rechercher sur le web, rédiger des messages ou des documents, et demander à Gemini de répondre à des requêtes ou d’exécuter des tâches. Dans Live Transcribe, les utilisateurs peuvent signer leurs réponses pendant les conversations au lieu de devoir taper à tour de rôle. Selon nos testeurs, signer en ASL est plus rapide, plus naturel et plus agréable que taper en anglais.

Pourquoi les langues des signes sont importantes

Les langues des signes sont les langues principales des communautés sourdes dans le monde entier et un élément central de l’identité culturelle sourde. Les personnes sourdes présentent une grande diversité de niveaux de compétence en matière de langue des signes, de parole, de lecture et d’écriture ; il est donc important de prendre en charge l’accès dans tous les modes. Les personnes sourdes peuvent bénéficier du traitement des langues des signes de la même manière que les personnes entendantes bénéficient du traitement des langues parlées, et cette technologie ouvre en outre de nouvelles possibilités pour combler le fossé de communication entre les communautés sourdes et entendantes.

Malgré ce potentiel d’impact social positif, les progrès en matière d’IA pour la langue des signes ont été lents, à la fois parce que la création d’une IA pour les langues des signes pose des défis complexes et parce que des idées reçues largement répandues existent sur le fonctionnement de ces langues.

Par rapport à la transcription de la langue parlée, la traduction de la langue des signes présente deux défis principaux. Premièrement, la transcription de la parole consiste à effectuer une correspondance séquentielle du son au texte dans la même langue, tandis que les langues des signes sont des langues naturelles indépendantes, dotées de grammaires et de lexiques distincts. Elles nécessitent donc une véritable traduction automatique plutôt qu’un simple processus de transformation des signes en mots. Deuxièmement, le modèle doit apprendre à « voir » et à comprendre le mouvement physique. Les langues des signes transmettent le sens par des mouvements simultanés des mains, des bras, du torse, de la tête et du visage. Les suivre avec précision à des fréquences d’images élevées constitue une tâche de vision par ordinateur difficile et coûteuse en calcul.

Dans ce contexte, il est facile de comprendre pourquoi certaines premières tentatives de technologie pour la langue des signes, comme les gants de langue des signes, étaient fondamentalement limitées : les langues des signes ne sont pas simplement de « l’anglais avec les mains ». Elles exigent une perception visuelle complexe de mouvements du corps entier très fins et une véritable traduction linguistique. SL2T est conçu pour offrir les deux.

SL2T considère les entrées en langue des signes comme des points sur le corps du signant et les traduit en sorties textuelles en flux continu. Exemple tiré du benchmark FLEURS-ASL.

Comment fonctionne SL2T

Nous avons construit SL2T en combinant une approche centrée sur l’utilisateur, informée culturellement, avec une mise à l’échelle massive des données. Le modèle est entraîné sur plus de 100,000 heures de données couvrant plus de 50 langues des signes — dont environ un quart en ASL. L’entraînement conjoint sur des langues, dialectes et niveaux de compétence variés amène le modèle à apprendre des structures sous-jacentes communes, dépassant les modèles monolingues dans nos expériences.

Afin de protéger la vie privée des utilisateurs, SL2T considère la langue des signes comme une séquence de positions de points de repère de posture plutôt que comme un flux vidéo brut provenant d’une caméra. Un modèle embarqué (MediaPipe Holistic) suit la position des points sur le signant, et seules ces coordonnées géométriques sont envoyées au serveur pour la traduction, ce qui permet de supprimer immédiatement la vidéo d’origine.

SL2T traduit directement cette séquence de coordonnées en texte, en contournant les annotations intermédiaires appelées « glosses », largement utilisées dans les travaux antérieurs sur la traduction de la langue des signes. Les glosses ne capturent pas les aspects non linéaires riches des langues des signes, tels que les marqueurs non manuels et les constructions spatiales. Traduire directement à partir des points de repère supprime les limites artificielles de vocabulaire et permet à la qualité de la traduction d’évoluer directement avec les données.

SL2T est le modèle de traduction en langue des signes le plus performant à ce jour selon des benchmarks clés comme FLEURS-ASL (sd-test), qui évalue la qualité de la traduction de l’ASL vers l’anglais. SL2T atteint un remarquable score zero-shot de 70 BLEURT, nettement supérieur à tout score précédemment rapporté. Mais l’optimisation des seuls benchmarks académiques ne garantit pas l’utilisabilité dans des applications réelles ; nous avons donc travaillé avec soin sur des aspects pratiques tels que la réduction de la latence en streaming, la prévention des hallucinations sur des entrées non signées, l’assurance d’une équité pour les 10% de signants gauchers, et l’amélioration des performances pour la signature à une main, utilisée lorsqu’on tient un smartphone dans l’autre main.

Exemples tirés du benchmark FLEURS-ASL. SL2T traduit avec précision un ASL complexe en anglais fluide. Quelques erreurs subsistent sur des signes rares, l’épellation rapide ("prey" → "grey"), les constructions passives, les représentations par classificateurs (suppression de "claws") et le temps verbal sans contexte ("kicked off" → "start").

Construire avec la communauté

Nous croyons qu’il faut construire avec la communauté sourde, et pas seulement pour elle. Les perspectives des personnes sourdes ont façonné chaque étape de ce projet — de la conceptualisation par Sam Sepah, un Googler sourd, à la collecte de données avec des partenaires sourds, en passant par l’évaluation dans des études utilisateurs sourds et l’évaluation de l’impact de la technologie avec des experts sourds.

Pour guider un déploiement responsable dans le monde réel, nous avons créé le AI Sign Language Advisory Committee (AISLAC), réunissant de nombreuses organisations sourdes internationales et des experts du domaine. Grâce à ce modèle de gouvernance participative, les communautés les plus touchées par notre technologie influencent directement nos priorités de développement.

Nous avons co-rédigé un rapport d’impact conjoint pour la publication de SL2T 1.0 dans Gboard et Live Transcribe, détaillant de manière transparente les capacités de la technologie et ses limites actuelles — une approche collaborative que nous prévoyons de poursuivre pour toutes les principales publications liées aux langues des signes.

Perspectives

SL2T s’appuie sur des décennies de recherche fondamentale dans le monde universitaire et l’industrie, mais apporter l’ASL sur les téléphones des utilisateurs n’est qu’un début. La mission de Google est d’organiser l’information mondiale et de la rendre universellement accessible et utile. Atteindre une accessibilité universelle signifie parvenir à une pleine parité avec les langues parlées et écrites. Notre équipe travaille à étendre cette technologie à d’autres langues des signes, à la génération de langue des signes et à des capacités d’IA de pointe. Nous sommes impatients de partager nos progrès de manière responsable afin que l’accès par les langues des signes devienne une norme dans l’ensemble du paysage numérique.

Vous pouvez découvrir SL2T dans Gboard et Live Transcribe d’abord sur Pixel 11, avec d’autres appareils à venir bientôt — le tout sans coût supplémentaire.

Remerciements

Ce travail a été réalisé conjointement par les équipes de Google DeepMind et d’Android. L’équipe principale qui a विकसित le modèle SL2T est composée de Garrett Tanzer, Benoit Brard, Elizabeth Clark, Tim Dozat, Sebastian Ebert, Dan Garrette, Manfred Georg, Vicky Holgate, Shankar Kumar, Mohammad Saboorian, Miloš Stanojević, Megh Umekar, John Wieting, Andy Zhang et Chris Dyer.

L’équipe Android qui a intégré le modèle dans Gboard et Live Transcribe est composée de Ausmus Chang, Sai Aditya Chitturu, Dayle Chiu, Anna Chou, Ajay Dudani, Angana Ghosh, Alex Huang, Joanne Kim, Ed Lee, Thomas Lin, James Su, Yanchao Su et Sharlene Yuan.

Nous remercions également Anelia Angelova, Abhishek Bapna, Sara Basson, Glenn Cameron, Scott Crowell, Trevor Cohn, Noah Fiedel, Zoubin Ghahramani, Raia Hadsell, Tom Hudson, Alexander Hauerslev Jensen, Kazuya Kawakami, Peike Li, Liam McCafferty, Caroline Pantofaru, Abhinav Parashar, Christopher Patnoe, Laura Rimell, Sam Sepah, Thad Starner, Dave Uthus et Biao Zhang pour leur soutien supplémentaire.

Nous remercions aussi toutes les personnes ayant participé aux tests initiaux de nos modèles.