新聞股票Jack Dorsey 旗下 Block 推出 Dessa:完全以人類對話訓練的 AI 語音模型

Jack Dorsey 旗下 Block 推出 Dessa:完全以人類對話訓練的 AI 語音模型

作者: CryptoBriefing·

重點速覽

  • •Block 推出 Dessa,一個從零開始、完全以人類語音錄音訓練的 AI 語音模型,不含文字資料或預訓練模型。
  • •該模型採用全雙工語音對語音架構,可同時聆聽與說話,並回應情緒線索、停頓與插話。
  • •Dessa 可在本機運行於搭載 Apple M4 Max 或更高規格晶片的 MacBook Pro,推論無需依賴雲端伺服器。
  • •Block 表示,該模型習得語言所用的詞彙量比傳統文字模型少了數百倍,且僅在單一 NVIDIA GB200 NVL72 系統上訓練。
  • •Block 已發布由公司挑選的示範,展現能力與限制,並計畫向 AI 安全研究人員提供早期存取權,但未透露更廣泛的發布日期、模型權重或效能基準。
Jack Dorsey 旗下 Block 推出 Dessa:完全以人類對話訓練的 AI 語音模型

曾名 Square 的支付公司 Block 推出了 Dessa,這是一個全新、完全以人類對話而非文字訓練的 AI 語音模型。公司表示,該模型旨在即時溝通,同時辨識情緒線索、插話與自然語言模式。

據 Block 所述,Dessa 從零開始訓練,僅使用人類語音錄音,不含文字資料或預訓練模型。與先將語音轉為文字再產生回應的傳統語音助理不同,Dessa 透過語音對語音架構直接處理與生成音訊。

該模型支援同時聆聽與說話,能在對話中插話、回應停頓並調整語調。Block 表示,Dessa 可在本機運行於搭載 Apple M4 Max 或更高規格晶片的 MacBook Pro,推論無需雲端基礎設施——這與多數依賴遠端伺服器處理語音請求的主流語音助理不同。公司已發布該模型的多個示範,並計畫向一小群 AI 安全研究人員提供早期存取權。

Dessa 在無文字訓練下學會溝通

Block 表示,Dessa 的開發旨在探索 AI 模型能否僅透過語音習得語言與對話能力,類似人類在學習閱讀之前學會溝通的方式。

「嬰兒在從未見過書面文字的情況下學會說話。我們想看看模型是否也能做到。它可以,只是非常困難,」公司表示。

該模型採用 Block 所稱的全雙工架構,意即可同時聆聽與說話,而非等待對方講完才回應。Block 表示,這種設計讓 Dessa 能辨識笑聲、諷刺、語調變化,以及在語音轉為文字時可能流失的情緒表達。

公司補充,Dessa 學習語言所用的詞彙量比傳統文字語言模型少了數百倍,但並未提供詳細比較。Block 也表示,該模型僅在單一 NVIDIA GB200 NVL72 系統上訓練,顯示以語音為核心的 AI 開發可能需要不同的運算基礎設施方式。

示範展現潛力與限制

在 Dessa 負責人 Ragavan Thurairatnam 於 X 上分享的示範中——1、2——模型參與電影話題的對話、回應個人故事,並與 OpenAI 的 GPT Live 1 語音模型互動,後者是各大科技公司持續開發的即時語音助理之一。其他範例顯示 Dessa 參與猜謎遊戲並在對話中調整回應。

部分示範也揭露了限制,包括模型偶爾誤認說話者身分或突然轉換話題的情況。這些範例由 Block 挑選並發布,模型的表現尚未經過獨立評估。

情緒感知與 AI 安全

除了對話能力,Block 表示 Dessa 的開發也旨在研究 AI 系統如何更好地理解人類情緒,並在敏感情境中做出適當回應。公司認為,傳統語音助理在將語音轉為文字時會流失重要資訊,包括挫折、苦惱與情緒變化的跡象。

「AI 的能力與自主性不斷提升,但它對我們語音中的情緒仍近乎失聰,」Dessa 團隊表示。

Block 指出,劇烈疼痛的人可能與無法辨識其痛苦的 AI 系統互動。公司表示,其方法能讓 AI 模型直接從語音解讀情緒訊號,有助解決這些限制——隨著對話式語音成為科技業 AI 產品越來越普遍的介面,這個問題也日益受到重視。

該專案由 Block 內一小群研究團隊開發,由 Ragavan Thurairatnam 領導,成員曾任职於同名的多倫多 AI 新創公司 Dessa。研究人員直接向 Block 共同創辦人兼執行長 Jack Dorsey 匯報,並已投入數年開發生成式語音技術。

Block 計畫向獲選的 AI 安全研究人員提供早期存取權,以識別潛在風險並研究僅以語音訓練的模型的行為。公司尚未透露更廣泛的發布日期、模型權重或詳細的效能基準,早期存取計畫將成為外界在 Block 自身示範之外了解 Dessa 實際表現的主要窗口。