ジャック・ドーシーのBlock、人間の会話だけで学習したAI音声モデル「Dessa」を発表
重要ポイント
- •Blockは、テキストデータや事前学習済みモデルを使わず、人間の音声録音のみからゼロから学習したAI音声モデル「Dessa」を発表した。
- •同モデルは全二重のスーチ・トゥ・スピーチ・アーキテクチャを採用し、感情的な合図、間、割り込みに反応しながら同時に聞き取りと発話ができる。
- •DessaはAppleのM4 Maxチップ以上を搭載したMacBook Pro上でローカル動作が可能で、推論にクラウドサーバーに依存しない。
- •Blockによると、モデルは従来のテキストベースモデルの数百倍少ない単語数で言語を獲得し、単一のNVIDIA GB200 NVL72システムで学習されたという。
- •Blockは自社選定のデモを公開し、能力と限界の両方を示した。広範なリリース日、モデルの重み、性能ベンチマークを公表しないまま、AI安全性研究者向けの先行アクセスを計画している。
旧Squareの決済企業Blockは、テキストではなく人間の会話のみから学習した新しいAI音声モデルDessaを発表した。同社によると、このモデルは感情的な合図、割り込み、自然な話し方のパターンを認識しながらリアルタイムでコミュニケーションできるよう設計されているという。
Blockによれば、Dessaはテキストデータや事前学習済みモデルを使わず、人間の音声録音のみを用いてゼロから学習された。応答を生成する前に音声をテキストに変換する従来の音声アシスタントとは異なり、Dessaはスピーチ・トゥ・スピーチ・アーキテクチャを通じて音声を直接処理・生成する。
このモデルは同時の聞き取りと発話をサポートし、会話の中で割り込み、間に反応し、トーンを調整することができる。Blockは、DessaがAppleのM4 Maxチップ以上を搭載したMacBook Pro上でローカルに動作でき、推論にクラウドインフラを必要としないと述べた。これは、音声によるリクエストをリモートサーバーで処理する一般的な音声アシスタントとは異なるアプローチである。同社はモデルの複数のデモを公開しており、少数のAI安全性研究者グループに先行アクセスを提供する計画だ。
Dessaはテキストなしでコミュニケーションを学習
Blockは、人間が読み書きを学ぶ前にコミュニケーションを学ぶのと同様に、AIモデルが音声だけによって言語と会話能力を獲得できるかを検討するためDessaが開発されたと述べた。
「赤ちゃんは書かれた言葉を一度も見ずに話すことを学ぶ。モデルにも同じことができるか確かめたいと思った。できる。ただ、非常に難しい」と同社は述べた。
このモデルは、Blockが「全二重アーキテクチャ」と呼ぶものを採用しており、相手が話し終えるのを待たずに同時に聞き取りと発話が可能だ。Blockによると、この設計により、Dessaは音声がテキストに変換される際に失われがちな、笑い、皮肉、トーンの変化、感情的表現を認識できるという。
同社はさらに、Dが従来のテキストベース言語モデルの数百倍少ない単語数で言語を学習したと述べたが、詳細な比較は示していない。また、モデルが単一のNVIDIA GB200 NVL72システムで学習されたことも明らかにしており、音声特化型AIの開発には異なるコンピューティングインフラのアプローチが必要になる可能性を示唆している。
デモが示す可能性と限界
DessaのリードであるRagavan ThurairatnamがX上で共有したデモ — 1、2 — では、モデルが映画について会話し、個人的な話に反応し、大手テクノロジー企業が開発を進めるリアルタイム音声アシスタントの一つであるOpenAIのGPT Live 1音声モデルとやり取りする様子が示されている。その他の例では、Dessaが当てっこゲームに参加し、会話の中で応答を調整する様子が見られる。
一部のデモでは、話者を誤認識したり、予期せず話題を変えたりするといった限界も明らかになっている。これらの例はBlockが選択して公開したものであり、モデルの性能は第三者によって独立に評価されていない。
感情認識とAI安全性
会話能力に加えて、Blockは、AIシステムが人間の感情をよりよく理解し、デリケートな状況で適切に対応できるかを研究するためDessaが開発されたと述べた。同社は、従来の音声アシスタントが音声をテキストに変換する際、苛立ち、苦痛、感情の変化などの重要な情報を失っていると主張している。
「AIは力と自律性を増し続けているが、私たちの声にある感情に対して依然としてほとんど聞こえていない」とDessaチームは述べた。
Blockは、激しい痛みを抱える人が、その苦痛を認識できないAIシステムとやり取りするかもしれない状況を例に挙げた。同社は、AIモデルが音声から感情的シグナルを直接解釈できるようにすることで、こうした限界の解決に役立つ可能性があるとしている。これは、音声会話がテクノロジー業界全体のAI製品でより一般的なインターフェースとなる中で、重要性を増している課題である。
このプロジェクトは、Ragavan Thurairatnamが率いるBlockの小規模な研究チームによって開発されており、メンバーには同名のトロントのAIスタートアップDessaで以前働いていた者が含まれる。研究者らはBlockの共同創設者兼最高経営責任者であるジャック・ドーシーに直接報告し、生成音声技術の開発に数年を費やしてきた。
Blockは、潜在的なリスクを特定し、音声のみで学習したモデルの挙動を研究するため、選ばれたAI安全性研究者に先行アクセスを付与する計画だ。同社は広範なリリース日、モデルの重み、詳細な性能ベンチマークを公表しておらず、自社の事例以外でのDessaの性能について外部の観察者が知る主な窓口は、この先行アクセスプログラムとなる見通しだ。
