Google DeepMind presenta il modello SL2T per la traduzione della lingua dei segni

Google DeepMind Sign Language Team

Google DeepMind sta introducendo sign-language-to-text (SL2T), un nuovo modello progettato per alimentare le funzionalità di lingua dei segni per utenti sordi e con ipoacusia.

Negli ultimi decenni, i sistemi di AI hanno compiuto grandi progressi nell’elaborazione delle lingue parlate, abilitando traduzione automatica, dettatura e interfacce conversazionali per gli utenti udenti. Tuttavia, questo progresso non si è esteso alle oltre 200 lingue dei segni del mondo né alle stimate 70 million persone sorde e con ipoacusia che le utilizzano.

Google DeepMind ha affermato di lanciare ora un modello di traduzione da lingua dei segni a testo altamente multilingue, che descrive come una svolta in termini di qualità e generalità. Per la prima volta, la tecnologia passa dal laboratorio ai prodotti consumer. Sebbene ricercatori accademici e aziende tecnologiche abbiano esplorato il riconoscimento della lingua dei segni per anni, la traduzione in tempo reale da segni a testo è rimasta in gran parte confinata a prototipi di ricerca, rendendo la distribuzione di SL2T in applicazioni consumer un traguardo rilevante nell’AI per l’accessibilità. SL2T alimenta la dettatura da segni a testo in Gboard e Live Transcribe su Pixel 11, a partire dalla traduzione da American Sign Language (ASL) a inglese. Altri dispositivi arriveranno presto, e seguiranno ulteriori lingue.

Analogamente alla dettatura vocale per gli utenti udenti, questa funzione consente agli utenti sordi di usare i segni sul telefono ovunque normalmente digiterebbero. Gli utenti possono usare i segni per cercare sul web, redigere messaggi o documenti e chiedere a Gemini di risolvere richieste o eseguire attività. In Live Transcribe, gli utenti possono rispondere nelle conversazioni usando i segni invece di digitare avanti e indietro. Secondo i tester, esprimersi in ASL è più veloce, più naturale e più piacevole che digitare in inglese.

Perché le lingue dei segni sono importanti

Le lingue dei segni sono le lingue principali delle comunità sorde in tutto il mondo e una parte centrale dell’identità culturale sorda. Le persone sorde presentano grandi differenze nel livello di competenza nel segnare, parlare, leggere e scrivere, quindi è importante offrire supporto in tutte le modalità. L’elaborazione della lingua dei segni può avvantaggiare le persone sorde nello stesso modo in cui l’elaborazione delle lingue parlate avvantaggia gli utenti udenti, oltre ad aprire nuove possibilità per colmare il divario comunicativo tra comunità sorde e udenti.

Nonostante questo potenziale impatto sociale positivo, il progresso nell’AI per la lingua dei segni è stato lento, sia perché sviluppare AI per le lingue dei segni presenta sfide complesse sia perché esistono diffuse idee errate sul funzionamento di queste lingue.

Rispetto alla trascrizione del linguaggio parlato, la traduzione della lingua dei segni presenta due sfide principali. Primo, trascrivere il parlato significa eseguire una mappatura sequenziale dal suono al testo nella stessa lingua, mentre le lingue dei segni sono lingue naturali indipendenti con proprie grammatiche e lessici distinti. Di conseguenza, richiedono una vera traduzione automatica, e non un semplice processo di trasformazione da segno a parola. Secondo, il modello deve imparare a “vedere” e comprendere il movimento fisico. Le lingue dei segni trasmettono significato attraverso movimenti simultanei di mani, braccia, torso, testa e viso. Tracciarli accuratamente ad alte frequenze di frame è un compito di computer vision difficile e computazionalmente impegnativo.

Alla luce di questo contesto, è facile capire perché alcuni primi tentativi di tecnologia per la lingua dei segni, come i guanti per la lingua dei segni, fossero fondamentalmente limitati: le lingue dei segni non sono semplicemente “inglese sulle mani”. Richiedono una percezione visiva complessa di movimenti dettagliati dell’intero corpo e una traduzione linguistica completa. SL2T è progettato per offrire entrambe.

SL2T interpreta gli input in lingua dei segni come punti sul corpo del firmatario e li traduce in output testuale in streaming. Esempio dal benchmark FLEURS-ASL.

Come funziona SL2T

Abbiamo realizzato SL2T combinando un approccio centrato sull’utente e culturalmente informato con una forte scalabilità dei dati. Il modello è stato addestrato su oltre 100,000 ore di dati in più di 50 lingue dei segni, con circa un quarto dei dati in ASL. L’addestramento congiunto su lingue, dialetti e livelli di competenza diversi consente al modello di apprendere strutture condivise sottostanti, superando nei nostri esperimenti i modelli monolingue.

Per proteggere la privacy degli utenti, SL2T vede la lingua dei segni come una sequenza di posizioni di punti di riferimento della posa anziché come un flusso video grezzo della telecamera. Un modello sul dispositivo (MediaPipe Holistic) traccia la posizione dei punti sul firmatario e solo queste coordinate geometriche vengono inviate al server per la traduzione, consentendo di eliminare subito il video originale.

SL2T traduce direttamente questa sequenza di coordinate in testo, aggirando le annotazioni intermedie note come “glosses”, ampiamente utilizzate nei lavori precedenti sulla traduzione della lingua dei segni. Le glosses non riescono a catturare aspetti ricchi e non lineari delle lingue dei segni, come i marcatori non manuali e le costruzioni spaziali. Tradurre direttamente dai punti di riferimento elimina limiti artificiali di vocabolario e consente alla qualità della traduzione di scalare direttamente con i dati.

SL2T è il modello di traduzione della lingua dei segni più capace finora secondo benchmark chiave come FLEURS-ASL (sd-test), che valuta la qualità della traduzione da ASL a inglese. SL2T ottiene un notevole punteggio zero-shot di 70 BLEURT, significativamente superiore a qualsiasi punteggio riportato in precedenza. Ma ottimizzare solo i benchmark accademici non garantisce l’usabilità nelle applicazioni reali, quindi abbiamo lavorato molto su aspetti pratici come la riduzione della latenza in streaming, la prevenzione delle allucinazioni su input non segnanti, la garanzia di equità per il 10% dei firmatari mancini e il miglioramento delle prestazioni per la segnatura con una sola mano, usata quando si tiene uno smartphone nell’altra mano.

Esempi dal benchmark FLEURS-ASL. SL2T traduce accuratamente ASL complesso in inglese fluente. Restano alcuni errori occasionali in segni rari, fingerspelling rapido ("prey" → "grey"), costruzioni passive, rappresentazioni classificatorie (omettendo "claws") e tempo verbale senza contesto ("kicked off" → "start").

Costruire con la comunità

Crediamo nel costruire con la comunità sorda, non solo per la comunità sorda. Le prospettive delle persone sorde hanno influenzato ogni fase di questo progetto — dalla concettualizzazione da parte di Sam Sepah, un dipendente sordo di Google, alla raccolta dati con partner sordi, alla valutazione in studi con utenti sordi e alla valutazione dell’impatto della tecnologia con esperti sordi.

Per guidare un’implementazione responsabile nel mondo reale, abbiamo istituito l’AI Sign Language Advisory Committee (AISLAC), riunendo molte organizzazioni sorde globali ed esperti del settore. Attraverso questo modello di governance partecipativa, le comunità maggiormente coinvolte dalla nostra tecnologia influenzano direttamente le priorità di sviluppo.

Abbiamo co-redatto un rapporto congiunto sull’impatto per il rilascio di SL2T 1.0 in Gboard e Live Transcribe, descrivendo in modo trasparente le capacità della tecnologia e i suoi limiti attuali — un approccio collaborativo che intendiamo continuare per tutti i principali rilasci relativi alle lingue dei segni.

Guardando avanti

SL2T si basa su decenni di ricerca fondamentale in ambito accademico e industriale, ma portare l’input ASL sui telefoni degli utenti è solo l’inizio. La missione di Google è organizzare le informazioni del mondo e renderle universalmente accessibili e utili. Raggiungere un’accessibilità universale significa arrivare alla piena parità con le lingue parlate e scritte. Il nostro team sta lavorando per estendere questa tecnologia ad altre lingue dei segni, alla generazione della lingua dei segni e a capacità di AI all’avanguardia. Siamo lieti di condividere i nostri progressi in modo responsabile per rendere l’accesso attraverso le lingue dei segni uno standard in tutto il panorama digitale.

Puoi provare SL2T in Gboard e Live Transcribe prima su Pixel 11, con altri dispositivi in arrivo — il tutto senza costi aggiuntivi.

Riconoscimenti

Questo lavoro è stato svolto congiuntamente dai team di Google DeepMind e Android. Il team principale che ha sviluppato il modello SL2T è: Garrett Tanzer, Benoit Brard, Elizabeth Clark, Tim Dozat, Sebastian Ebert, Dan Garrette, Manfred Georg, Vicky Holgate, Shankar Kumar, Mohammad Saboorian, Miloš Stanojević, Megh Umekar, John Wieting, Andy Zhang e Chris Dyer.

Il team Android che ha integrato il modello in Gboard e Live Transcribe è: Ausmus Chang, Sai Aditya Chitturu, Dayle Chiu, Anna Chou, Ajay Dudani, Angana Ghosh, Alex Huang, Joanne Kim, Ed Lee, Thomas Lin, James Su, Yanchao Su e Sharlene Yuan.

Ringraziamo inoltre per il supporto aggiuntivo Anelia Angelova, Abhishek Bapna, Sara Basson, Glenn Cameron, Scott Crowell, Trevor Cohn, Noah Fiedel, Zoubin Ghahramani, Raia Hadsell, Tom Hudson, Alexander Hauerslev Jensen, Kazuya Kawakami, Peike Li, Liam McCafferty, Caroline Pantofaru, Abhinav Parashar, Christopher Patnoe, Laura Rimell, Sam Sepah, Thad Starner, Dave Uthus e Biao Zhang.

Un ringraziamento va anche a coloro che hanno partecipato ai test nelle fasi iniziali dei nostri modelli.