Google DeepMind 推出 SL2T 手語翻譯模型

Google DeepMind 手語團隊

Google DeepMind 正在推出手語轉文字（SL2T）模型，這是一套全新模型，旨在為聾啞及聽障使用者提供手語功能。

過去數十年間，AI 系統在處理口語方面取得了重大進展，為聽覺使用者實現了自動翻譯、聽寫和對話式介面。然而，這些進展尚未延伸到全球超過 200 種手語，以及估計 7,000 萬使用手語的聾啞及聽障人士。

Google DeepMind 表示，目前正在推出一個大規模多語言手語轉文字翻譯模型，並稱其在品質和通用性方面取得了突破。該技術首次從實驗室走向消費級產品。儘管學術研究人員和科技公司多年來一直在探索手語辨識技術，但即時手語轉文字翻譯在很大程度上仍局限於研究原型，因此 SL2T 在消費級應用中的部署成為無障礙 AI 領域的一個重要里程碑。SL2T 在 Pixel 11 上的 Gboard 和 Live Transcribe 中提供手語轉文字聽寫功能，首波支援美國手語（ASL）至英語的翻譯。預計很快會有更多裝置跟進，並陸續支援更多語言。

如同聽覺使用者可以使用語音聽寫功能，該功能讓聾啞使用者可以在任何通常需要打字的地方，向手機進行手語輸入。使用者可以透過手語來搜尋網頁、撰寫訊息或文件，並要求 Gemini 回答問題或執行任務。在 Live Transcribe 中，使用者可以在對話中用手語回應，而不需要反覆打字。根據測試者的回饋，使用 ASL 手語比用英文打字更快、更自然，也更令人愉悅。

手語為何重要

手語是全球聾啞社群的主要語言，也是聾啞文化認同的核心。聾啞人士在手語、口語、閱讀和寫作方面的熟練程度差異很大，因此跨所有模式的支援都非常重要。手語處理技術能夠像口語處理技術造福聽覺使用者一樣造福聾啞人士，同時也為聾啞社群與聽覺社群之間的溝通創造了新的可能性。

儘管具有這些潛力，手語 AI 的進展一直很緩慢。Google DeepMind 表示，這反映了該工作的技術難度以及對手語運作方式的普遍誤解。

與口語轉錄相比，手語翻譯面臨兩大挑戰。首先，語音轉錄是將聲音到文字進行同語言的序列對應，而手語是獨立的自然語言，擁有自己的語法和詞彙。這意味著它們需要真正的機器翻譯，而非簡單的手勢到單詞轉換。其次，模型必須學會「看見」並理解身體動作。手語透過手部、手臂、軀幹、頭部和臉部的同時動作來傳達意義，這使得在高幀率下進行精確追蹤成為一項高難度的電腦視覺任務。

Google DeepMind 表示，這就是早期手語技術（如手語手套）受到根本限制的原因。手語不僅僅是「手上的英語」，而是需要對精細的全身動作進行詳細的視覺感知以及完整的語言翻譯。SL2T 的設計正是要兼顧這兩者。

SL2T 將手語輸入視為手語者身體上的點，並將這些輸入轉換為串流文字輸出。範例取自 FLEURS-ASL 基準測試。

SL2T 的運作方式

Google DeepMind 表示，其透過結合以使用者為中心、融入文化的策略與大規模資料訓練來建構 SL2T。該模型使用超過 10 萬小時、涵蓋 50 多種手語的資料進行訓練，其中約四分之一的資料為 ASL。在這個資料匱乏一直是持續瓶頸的領域中，這樣的規格外引人注目，因為收集手語影片比收集語音或文字要耗費更多資源。在多種語言、方言和熟練程度上的聯合訓練，幫助模型學習到共享結構，並在公司的實驗中優於單一語言模型。

為了保護使用者隱私，SL2T 將手語處理為姿態關鍵點位置的序列，而非原始攝影機影像。裝置端模型 MediaPipe Holistic 追蹤手語者身上的點位置，僅將這些幾何座標傳送至伺服器進行翻譯，原始影片可立即丟棄。此設計反映了產業向隱私保護 AI 架構的更廣泛轉變，即盡可能在本地處理攝影機影像等敏感輸入，以減少資料暴露。

該模型直接將座標序列翻譯為文字，繞過了早期手語翻譯研究中廣泛使用的中介標註——即所謂的「詞彙標記」（glosses）。Google DeepMind 表示，詞彙標記無法捕捉手語的非線性特徵，例如非手部標記和空間結構。直接從關鍵點進行翻譯消除了人為的詞彙限制，並使翻譯品質能隨資料量提升而相應提升。

根據 FLEURS-ASL（sd-test）等關鍵基準測試（用於評估 ASL 至英語的翻譯品質），SL2T 是迄今為止最強大的手語翻譯模型。Google DeepMind 表示，該模型達到了 70 BLEURT 的零樣本分數，高於先前所有已報告的分數。

該公司表示，除了基準測試表現外，還專注於實際部署問題，包括最小化串流延遲、防止非手語輸入產生的幻覺、確保對佔手語者 10% 的左撇子使用者的公平性，以及改善單手手語的效能——因為使用者通常另一手需要拿著智慧型手機。

FLEURS-ASL 基準測試的範例顯示 SL2T 能將複雜的 ASL 翻譯為流暢的英語。Google DeepMind 表示，仍存在一些錯誤，包括罕見手勢、快速指拼（"prey" → "grey"）、被動句構、分類描繪（省略 "claws"），以及缺乏語境時的時態問題（"kicked off" → "start"）。

與社群共同建構

Google DeepMind 表示，其信念是與聾啞社群共同建構，而非僅為其建構。聾啞人士的觀點影響了專案的每個階段——從聾啞 Google 員工 Sam Sepah 的概念發想，到與聾啞合作夥伴的資料收集、聾啞使用者研究中的評估，以及與聾啞專家的影響評估。

為了支援負責任的實際部署，該公司成立了 AI 手語諮詢委員會（AISLAC），匯聚了全球聾啞組織和領域專家。透過這種參與式治理模式，受該技術影響最大的社群可以直接影響開發優先順序。

Google DeepMind 也為 SL2T 1.0 在 Gboard 和 Live Transcribe 中的發布共同撰寫了一份聯合影響報告，透明地詳述了該技術的能力和現有限制。該公司表示，計畫在所有主要的手語產品發布中延續此做法。

展望未來

SL2T 建立在學術界和產業界數十年的基礎研究之上，但 Google DeepMind 表示，將 ASL 輸入帶到使用者的手機上只是開始。該公司表示，其使命是整理全球資訊並使其普遍可用且有用，而真正的無障礙化需要與口語和書面語言達到完全平等。

該團隊表示，正在努力將該技術擴展至更多手語、手語生成以及前沿 AI 能力。Google DeepMind 表示，其目標是負責任地分享進展，使透過手語進行存取成為數位領域的標準。

Pixel 優先的推出策略遵循了 Google 既有的模式——先在其旗艦硬體上首播 AI 驅動的功能，再擴展到更廣泛的 Android 生態系統。使用者可以在 Pixel 11 上率先體驗 Gboard 和 Live Transcribe 中的 SL2T，更多裝置即將推出，且無需額外費用。

致謝

這項工作由 Google DeepMind 和 Android 團隊共同完成。開發 SL2T 模型的核心團隊包括 Garrett Tanzer、Benoit Brard、Elizabeth Clark、Tim Dozat、Sebastian Ebert、Dan Garrette、Manfred Georg、Vicky Holgate、Shankar Kumar、Mohammad Saboorian、Miloš Stanojević、Megh Umekar、John Wieting、Andy Zhang 和 Chris Dyer。

將該模型整合到 Gboard 和 Live Transcribe 的 Android 團隊包括 Ausmus Chang、Sai Aditya Chitturu、Dayle Chiu、Anna Chou、Ajay Dudani、Angana Ghosh、Alex Huang、Joanne Kim、Ed Lee、Thomas Lin、James Su、Yanchao Su 和 Sharlene Yuan。

額外支援來自 Anelia Angelova、Abhishek Bapna、Sara Basson、Glenn Cameron、Scott Crowell、Trevor Cohn、Noah Fiedel、Zoubin Ghahramani、Raia Hadsell、Tom Hudson、Alexander Hauerslev Jensen、Kazuya Kawakami、Peike Li、Liam McCafferty、Caroline Pantofaru、Abhinav Parashar、Christopher Patnoe、Laura Rimell、Sam Sepah、Thad Starner、Dave Uthus 和 Biao Zhang。

團隊同時也感謝參與模型早期階段測試的所有人員。