訓練一個 AI 模型樣樣精通成本高昂。Salesforce AI Research 表示，或許有一條更便宜的路：先訓練多個專家模型，再將它們的知識注入單一模型。

在 2026 年 11 月 5 日發布的預印本中，該團隊報告指出，先分別訓練專家模型再予以合併的做法，在數學與程式碼的組合測試中達到與聯合強化學習訓練相當的效能，同時總訓練 FLOPs 減少 42%。

研究人員實際測試了什麼

這篇論文題為 "Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO"，編號為 arXiv:2611.08453。

GRPO 是 Group Relative Policy Optimization 的縮寫，是一種強化學習技術，透過可驗證的結果獎勵來訓練模型，也就是當模型產出的結果可以被驗證為正確時，模型會獲得獎勵。OPD 則是策略內蒸餾（on-policy distillation）的縮寫。FLOPs，即浮點運算次數，是整項研究中衡量訓練運算量的標準——這個標準之所以重要，是因為它與每次訓練運行所需的時間和基礎設施成本密切相關。

這項研究以一個簡單的記分板比較這兩種方法：每花費一單位訓練運算量，各方法能帶來多少保留集（held-out）準確度？保留集任務是訓練時未納入的題目，因此在這些任務上的準確度反映的是泛化能力而非記憶能力。為解答這個問題，研究人員在多個領域（包括數學與程式碼）、不同任務難度以及不同教師模型設定下，測量保留集任務準確度與訓練 FLOPs 之間的關係。

重點結果：先訓練專家，再合併

最突出的發現涉及論文所稱的多教師 OPD。研究人員並非使用 GRPO 同時在數學與程式碼上訓練一個模型，而是先為每個領域分別訓練 GRPO「專家」檢查點，然後將這些專家模型蒸餾到單一學生模型中。此處的蒸餾是指訓練學生模型重現專家模型的輸出，在不對合併領域重新執行完整強化學習流程的情況下，承接其能力。

在數學加程式碼的情境中，該學生模型達到與聯合 GRPO 訓練相當的效能，總運算成本降低 42%。經濟效益正是重點所在：強化學習的工作只需為每個專家模型支付一次，而合併後的學生模型透過一次蒸餾程序吸收這些能力，論文將該程序的成本定價為總帳單的一小部分。

合併步驟本身的成本也相當低。根據這項研究，在雙領域情境下，蒸餾僅佔專家模型訓練成本的 5.2%。

當設定擴展至四個領域時，蒸餾佔專家模型訓練 FLOPs 的比例上升至 8.0%。

蒸餾的不足之處

不過，這篇論文並未將蒸餾捧為萬能贏家。當 OPD 依賴外部後訓練的教師模型，即在別處訓練而非內部專家模型時，其單位 FLOP 的表現通常不如 GRPO。這些外部教師模型也往往使學生模型的回應比必要的更長。

不過，教師模型方面仍有一個亮點。由學生模型自身較早的檢查點建構的自 GRPO 教師模型，在恢復單一領域準確度方面展現極高的效率。研究摘要指出，在該設定下蒸餾 FLOPs 最多減少達 50 倍。

這項結果對 AI 訓練預算為何重要

這項研究是 Salesforce 降低大型語言模型後訓練成本的更大努力的一環。它也建立在持續開發使用可驗證獎勵強化學習（GRPO 即屬於此類）的流程之上。後訓練是在基礎訓練之後塑造模型行為的階段，這也是為什麼像這樣的單位 FLOP 準確度比較，會受到在能力目標與有限運算預算之間權衡的團隊關注。

四領域的數據顯示出可擴展性。當領域數量翻倍時，蒸餾的成本佔比從 5.2% 上升至 8.0%，這顯示隨著專家模型陣容擴大，合併步驟仍維持相親可負擔的成本，至少在所測試的設定中是如此。

仍有值得留意的注意事項。這是一篇預印本，尚未經過同儕審查，且 42% 的核心數據來自特定的雙領域數學與程式碼比較。接下來值得關注的進展也相應具體：正式的同儕審查，以及先分割後合併的優勢是否在所測試範圍之外的領域與設定中依然成立。

本報導原始內容由 CryptoBriefing 發布，由 Diego Almada Lopez 編輯。