训练一个 AI 模型样样精通，代价十分高昂。Salesforce AI Research 表示，或许存在一条更廉价的路径：先训练多个专家模型，再将它们的知识注入单一模型。

根据该团队于 2026 年 11 月 5 日发布的预印本，先分别训练专家模型再进行合并的方法，在数学与代码混合设置中达到了与联合强化学习相当的性能，同时总训练 FLOPs 减少 42%。

研究人员实际测试了什么

这篇论文题为 "Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO"，编号为 arXiv:2611.08453。

GRPO 即 Group Relative Policy Optimization（组相对策略优化），是一种强化学习技术，通过可验证的结果奖励来训练模型，也就是说，当模型的结果可以被验证为正确时，模型会获得奖励。OPD 即 on-policy distillation（在线策略蒸馏）。FLOPs，即浮点运算次数，是整项研究中衡量训练算力的标尺——这一标尺之所以重要，是因为它与每次训练运行背后的时间和基础设施成本密切相关。

该研究用一个简单的计分板将两种方法进行对比：每消耗一单位训练算力，各方法能带来多少留出集准确率？留出任务是指未参与训练的问题，因此在这些任务上的准确率反映的是泛化能力而非记忆能力。为回答这个问题，研究人员在多个领域（包括数学和代码）、不同任务难度以及不同教师模型设置下，将留出任务上的准确率与训练 FLOPs 进行了对比测量。

核心成果：先训专家，再行合并

最引人注目的发现涉及论文所称的多教师 OPD。研究人员没有使用 GRPO 同时在数学和代码上训练一个模型，而是先为每个领域分别训练独立的 GRPO "专家"检查点，随后将这些专家蒸馏到一个学生模型中。这里的蒸馏是指训练学生模型复现专家模型的输出，从而在不针对组合领域重新运行完整强化学习流程的情况下继承专家的能力。

在数学加代码的设置中，该学生模型达到了与联合 GRPO 训练相当的性能，而总算力开销降低了 42%。经济性正是关键所在：强化学习的工作只需为每个专家支付一次，而合并后的学生模型通过一次蒸馏过程便吸收了这些能力，论文将这一蒸馏过程的成本定在那笔开销的很小一部分。

合并步骤本身也相当廉价。据该研究显示，在双领域场景中，蒸馏仅占专家训练成本的 5.2%。当设置扩展到四个领域时，蒸馏占专家训练 FLOPs 的比例升至 8.0%。

蒸馏的不足之处

不过，论文并未将蒸馏奉为普适的赢家。当 OPD 依赖外部后训练的教师模型时（即在其他地方训练而非内部专家的模型），其每 FLOP 的表现通常不及 GRPO。这些外部教师模型还往往导致学生模型的回答比必要的更长。

不过，在教师模型方面也存在亮点。由学生模型自身早期检查点构建的自 GRPO 教师模型，在恢复单领域准确率方面表现出极高的效率。研究摘要指出，在该设置下，蒸馏 FLOPs 最多可减少至原来的五十分之一。

这一结果为何对 AI 训练预算意义重大

这项研究契合 Salesforce 降低大语言模型后训练成本的更广泛努力。它还建立在持续开发的、使用可验证奖励强化学习（GRPO 即属于这一类）的流水线之上。后训练是在基础训练之后塑造模型行为的阶段，也正是这种准确率与 FLOP 之比的比较之所以引起那些需要在能力目标与有限算力预算之间寻求平衡的团队关注的原因。

四领域的数据显示出可扩展性的迹象。随着领域数量翻倍，蒸馏成本占比从 5.2% 升至 8.0%，这表明随着专家阵容扩大，合并步骤的成本仍相对可控——至少在所测试的配置范围内是如此。

仍有一些需要注意的保留意见。这是一篇预印本，尚未经过同行评审，而且 42% 这一核心数字来自特定的双领域数学与代码比较。接下来值得关注的发展也相应具体：正式的同行评审，以及"先分后合"的优势能否在所测领域与配置之外依然成立。

原报道由 CryptoBriefing 发布，由 Diego Almada Lopez 编辑。