Jack Dorsey 旗下 Block 發表 Dessa:僅以人類語音訓練、單一 Nvidia 機架打造語音 AI
重點速覽
- •Block 發表 Dessa,一款完全以人類語音訓練、不使用文字資料或預訓練模型的語音模型,公司稱其可在 MacBook Pro M4 Max 或更高規格裝置上本機運行。
- •Dessa 是全雙工語音轉語音模型,可同時說話與聆聽,運行速度快於即時,有別於以嚴格輪流方式進行轉錄、處理、說話的傳統助理。
- •該模型在單一 Nvidia GB200 NVL72 機架(串聯 72 顆 Blackwell GPU)上訓練,從比文字型 LLM 所需少了數百倍的詞彙中學會語言。
- •在公布的錄音中,Dessa 與 OpenAI 的 GPT-Live-1 進行了無人引導的對話,但 GPT-Live-1 的開發者並未審核或認可 Dessa。
- •Dessa 尚未公開發布,Block 正開放候補名單並向少數 AI 安全研究人員提供早期存取權限,且未提供更廣泛發布的時間表。

Jack Dorsey 旗下的支付公司 Block 訓練出一款全新語音模型 Dessa,完全以人類語音訓練——不使用任何文字資料,也不使用任何預訓練模型,該公司在官方公告中表示。Block 指出,完成後的模型可在 MacBook Pro M4 Max 或更高規格的裝置上本機運行,而這個小型研究實驗室僅用單一機架的 Nvidia 伺服器完成訓練。本機運行意味著對話在裝置本身上處理,而非透過雲端服務串流。
Block 稱 Dessa 是其所知首個僅以人類語音訓練、卻能進行逼真即時對話的 AI。開發該模型的小型研究實驗室直接向 Dorsey 匯報。
全雙工模型在無人引導的示範中與 OpenAI 的 GPT-Live-1 對話
大多數語音助理會將使用者說的話轉成文字、把文字送進語言模型處理,再將結果轉回語音。Block 認為,這種流程會丟棄情緒、諷刺、笑聲,以及其所稱「哽咽的悲傷語氣」。
Dessa 則直接將語音轉為語音,中間沒有文字階段。就像兩個人交談一樣,它同時說話與聆聽——音訊同時雙向流動,而非「轉錄—處理—說話」流程所允許的嚴格輪流模式。Block 表示,模型知道何時插話、何時以「對!」或「收到!」附和,且運行速度快於即時。
根據 Block 的說法,在公布的錄音中沒有人引導模型——Dessa 自行決定說什麼、何時說以及如何說。在片段中,它會在句子中途發笑、對意外事物倒吸一口氣,被要求大聲一點時也會提高音量。在其中一段錄音裡,Dessa 與 OpenAI 的 GPT-Live-1 進行了對話。Block 說明,GPT-Live-1 的開發者並未審核或認可 Dessa。
專案負責人 Ragavan Thurairatnam 在 X 上宣布該模型時寫道:
"We made the first AI model you can have a realistic conversation with that was trained entirely on speech! Dessa is a full-duplex speech-to-speech model that you can run on consumer GPUs. This is a GPT3 moment for speech." pic.twitter.com/XVD8sSyJn8
— Ragavanairatnam (@RagavanThurair) October 23, 2026
單一 GB200 NVL72 機架,以及「少了數百倍的詞彙」
Dessa 在單一 Nvidia GB200 NVL72 上訓練,這是一套機架級系統,將 72 顆 Nvidia Blackwell GPU 串聯為一台機器運作。實驗室表示,模型從比文字型 LLM 所需「少了數百倍的詞彙」中學會語言。Block 解釋,語音讓這項工作更為困難:一個口說單詞的位元組量是同一個印刷單詞的數千倍。
該實驗室由多倫多深度學習新創公司 Dessa 的前成員創立,團隊開發生成式語音模型已超過八年。Thurairatnam 領導此專案,並在 X 上稱這次發布是「語音的 GPT3 時刻」——此語呼應 GPT-3,OpenAI 於 2020 年推出的文字模型,它讓機器生成的寫作從研究示範變成廣泛使用的工具,而他以這個說法將語音定位於類似的轉折點。
Dessa 尚未公開發布。Block 正開放候補名單,並向少數 AI 安全研究人員提供早期存取權限,以發掘團隊尚未預見的風險。公告並未提供更廣泛開放的時間表。
Block 開發此模型的動機有三:其二是好奇心以及促進人類與 AI 之間更好的理解。第三個原因是安全:Block 提到一個情境——一個人正處於極大痛苦之中,但語音 AI 未察覺並繼續說話——這正是文字優先的流程在模型聽到之前就可能剝除的情緒訊號。
這項公告正值 Block 的變動時期。如Cryptopolitan 報導,這家公司(NYSE: XYZ,前身為 Square)於二月裁員 40%。七月,Block 推出Buzz,一款人類與 AI 代理可以共用頻道的職場聊天應用程式。