Google DeepMindがSL2T手話翻訳モデルを発表

Google DeepMind 手話チーム

Google DeepMindは、ろう・難聴者向けの手話機能を支える新しいモデル、sign-language-to-text（SL2T）を発表します。

ここ数十年、AIシステムは音声言語の処理において大きく進歩し、聞こえる人向けの自動翻訳、音声入力、会話型インターフェースを実現してきました。しかし、その進歩は世界に200以上ある手話や、それらを使用する推定70 million人のろう・難聴者には及んでいませんでした。

Google DeepMindは現在、品質と汎用性の両面で画期的だと位置づける、大規模多言語の手話からテキストへの翻訳モデルを公開すると述べています。この技術が初めて研究室から消費者向け製品へと移行します。学術研究機関やテクノロジー企業は長年にわたり手話認識を研究してきましたが、リアルタイムの手話からテキストへの翻訳は主に研究用試作にとどまっていました。そのため、SL2Tの消費者向けアプリケーションへの展開は、アクセシビリティAIにおける注目すべき節目となります。SL2TはPixel 11のGboardとLive Transcribeで手話からテキストへの音声入力を支え、まずはAmerican Sign Language（ASL）から英語への翻訳に対応します。今後、さらに多くのデバイスに対応し、追加言語も順次提供される予定です。

聞こえる人が音声入力で話すように、入力する代わりに話すことができるのと同じように、この機能によりろう者は通常 টাইપする場所であればどこでも電話に手話で入力できます。ウェブ検索をしたり、メッセージや文書を下書きしたり、Geminiに問い合わせへの回答やタスク実行を依頼したりできます。Live Transcribeでは、会話の中で相手に返答を入力する代わりに、手話で応答できます。テスターによると、ASLで手話入力する方が、英語で টাইपするよりも速く、自然で、より心地よい体験だとされています。

SL2Tによる手話からテキストへの入力は、通常 টাইपする場所であればどこでも電話に手話で入力できるようにします。

手話が重要な理由

手話は世界中のろうコミュニティの主要言語であり、ろう文化的アイデンティティの中核です。ろう者の手話、会話、読解、書字の習熟度は大きく異なるため、あらゆるモダリティでのアクセスを支えることが重要です。手話処理は、聞こえる人が音声言語処理の恩恵を受けるのと同じように、ろう者にも恩恵をもたらします。さらに、ろうコミュニティと聴者コミュニティの間のコミュニケーションギャップを埋める新たな可能性も開きます。

このような社会的に前向きな影響の可能性がある一方で、手話AIの進展は遅れてきました。Google DeepMindによれば、その背景には手話向けAIを構築する難しさと、手話そのものの仕組みに関する広範な誤解の両方があります。

音声言語の書き起こしと比べると、手話翻訳には2つの核心的な課題があります。第一に、音声の書き起こしは同一言語内で音からテキストへの逐次的な写像を行う作業ですが、手話は独自の文法と語彙を持つ独立した自然言語です。そのため、単純な手話から単語への変換ではなく、真の機械翻訳が必要になります。第二に、モデルは身体の動きを「見る」ことと理解することを学ばなければなりません。手話は、手、腕、胴体、頭、顔の同時的な動きで意味を伝えます。これらを高いフレームレートで正確に追跡することは、計算量の大きい難しいコンピュータビジョン課題です。

この背景を踏まえると、手話用手袋のような初期の手話技術の試みが根本的に限界を持っていた理由は理解しやすいでしょう。手話は単なる「手の上の英語」ではありません。微細な全身動作を精密に視覚認識し、完全な言語翻訳を行う必要があります。SL2Tはその両方を実現するよう設計されています。

SL2Tは、手話入力を手話者の身体上の点として捉え、それをストリーミングテキスト出力に翻訳します。FLEURS-ASLベンチマークの例。

SL2Tの仕組み

Google DeepMindは、ユーザー中心で文化的背景を踏まえたアプローチと大規模なデータスケーリングを組み合わせてSL2Tを構築しました。このモデルは、50以上の手話にまたがる100,000時間超のデータで学習されており、その約4分の1はASLです。多様な言語、方言、熟達度を共同で学習することで、共通の基盤構造を学び、同社の実験では単一言語モデルを上回りました。

ユーザーのプライバシーを保護するため、SL2Tは生のカメラ映像ではなく、姿勢ランドマーク位置の連なりとして手話を扱います。端末上のモデルであるMediaPipe Holisticが手話者上の点の位置を追跡し、翻訳のために送信されるのはその幾何座標のみです。これにより、元の動画は直ちに破棄できます。

SL2Tは、この座標列を中間注釈である「glosses」を介さず、直接テキストへ翻訳します。glossesは、手以外の動きや空間構文のような手話の豊かな非線形的側面を十分に捉えられません。ランドマークから直接翻訳することで、人工的な語彙制限がなくなり、翻訳品質をデータ量に応じて直接向上させることができます。

FLEURS-ASL（sd-test）などの主要ベンチマークによると、SL2Tは現時点で最も高性能な手話翻訳モデルです。ASLから英語への翻訳品質を評価するこのベンチマークで、SL2Tは70 BLEURTという注目すべきゼロショットスコアを達成し、これまでに報告されたどのスコアよりも大幅に高い結果を示しました。ただし、学術ベンチマークの最適化だけでは実運用の使いやすさは保証されないため、ストリーミング遅延の最小化、非手話入力に対する幻覚の防止、手話者の10%を占める左利きの公平性の確保、そしてもう一方の手でスマートフォンを持ちながら行う片手での手話入力の性能改善といった実用上の課題にも取り組みました。

FLEURS-ASLベンチマークの例では、SL2Tが複雑なASLを流暢な英語に正確に翻訳しています。なお、まれな手話、速い指文字（"prey" → "grey"）、受動構文、分類詞表現（"claws"の脱落）、文脈のない時制（"kicked off" → "start"）などでは、なお誤りが残る場合があります。

コミュニティとともに構築する

私たちは、ろうコミュニティのために作るだけでなく、ろうコミュニティとともに作ることを重視しています。ろう者の視点は、このプロジェクトのあらゆる段階に影響を与えました。ろう者であるGoogle社員Sam Sepahによる構想から、ろう者パートナーとのデータ収集、ろう者ユーザー研究での評価、ろうの専門家による技術の影響評価まで含まれます。

責任ある実運用展開を導くため、私たちはAI Sign Language Advisory Committee（AISLAC）を設立し、世界各地のろう者組織と専門家を集めました。この参加型ガバナンスモデルにより、技術の影響を最も強く受けるコミュニティが開発の優先事項に直接関与できます。私たちは、GboardとLive TranscribeでのSL2T 1.0公開に際し、技術の能力と現在の限界を透明性をもって詳述した共同影響報告書を共同執筆しました。こうした協働的な取り組みは、今後の主要な手話リリースでも継続する予定です。

今後に向けて

SL2Tは、学術界と産業界にまたがる数十年の基盤研究の上に成り立っていますが、ASL入力をユーザーの電話に届けることは始まりにすぎません。Googleの使命は、世界中の情報を整理し、普遍的にアクセス可能で有用なものにすることです。真のユニバーサルアクセシビリティを実現するには、音声言語や書記言語と同等の到達性が必要です。

チームは、追加の手話、手話生成、最先端AI機能への技術拡張に取り組んでいます。私たちは、デジタル環境全体で手話によるアクセスが標準となるよう、進捗を責任ある形で共有していきたいと考えています。

Pixel 11で最初にGboardとLive TranscribeでSL2Tを体験できます。今後さらに多くのデバイスに対応予定で、追加費用はかかりません。

謝辞

この取り組みは、Google DeepMindとAndroidのチームが共同で実施しました。SL2Tモデルを開発したコアチームは、Garrett Tanzer、Benoit Brard、Elizabeth Clark、Tim Dozat、Sebastian Ebert、Dan Garrette、Manfred Georg、Vicky Holgate、Shankar Kumar、Mohammad Saboorian、Miloš Stanojević、Megh Umekar、John Wieting、Andy Zhang、Chris Dyerです。

このモデルをGboardとLive Transcribeに統合したAndroidチームは、Ausmus Chang、Sai Aditya Chitturu、Dayle Chiu、Anna Chou、Ajay Dudani、Angana Ghosh、Alex Huang、Joanne Kim、Ed Lee、Thomas Lin、James Su、Yanchao Su、Sharlene Yuanです。

追加の支援は、Anelia Angelova、Abhishek Bapna、Sara Basson、Glenn Cameron、Scott Crowell、Trevor Cohn、Noah Fiedel、Zoubin Ghahramani、Raia Hadsell、Tom Hudson、Alexander Hauerslev Jensen、Kazuya Kawakami、Peike Li、Liam McCafferty、Caroline Pantofaru、Abhinav Parashar、Christopher Patnoe、Laura Rimell、Sam Sepah、Thad Starner、Dave Uthus、Biao Zhangから提供されました。

また、モデルの初期段階テストに参加した方々にも感謝します。