Salesforce AI Research、RL訓練エキスパートの蒸留により計算コスト42%削減を報告
重要ポイント
- •Salesforce AI Researchのプレプリント（arXiv:2611.08453）は、ドメイン別のGRPOエキスパートを個別に訓練し、1つの生徒モデルに蒸留する手法が、数学とコードの複合設定において一括強化学習と同等の性能を達成したと報告した。
- •分割・統合アプローチは、2ドメイン比較において一括GRPO訓練より総訓練FLOPsを42%少なく使用しながら、同等のホールドアウト精度を達成した。
- •蒸留は2ドメインの場合で専門モデル訓練コストのわずか5.2%を占め、4ドメインへの拡大では8.0%に上昇しており、統合ステップがスケールしても比較的手頃なコストに保たれることを示唆している。
- •オンポリシー蒸留は、外部の事後訓練済み教師モデルに依存した場合、FLOPsあたりの性能で概してGRPOを下回り、生徒の応答も不必要に長くなる傾向があった。
- •生徒自身の過去のチェックポイントから構築された自己GRPO教師モデルは、単一ドメインの精度回復において蒸留FLOPsを最大50分の1に削減した。
1つのAIモデルですべてを得意にするよう訓練するのは高コストです。Salesforce AI Researchは、より低コストの道筋があるとしています。まず複数の専門モデルを訓練し、その知識を単一のモデルに注ぎ込むという方法です。
同チームは2026年11月5日に公開したプレプリントで、専門モデルを個別に訓練したうえで統合するこのアプローチが、数学とコードの複合設定において、一括の強化学習と同等の性能を達成しながら、総訓練FLOPsを42%削減したと報告しています。
研究者らが実際に検証したこと
論文のタイトルは「Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO」で、arXiv:2611.08453として公開されています。
GRPOはGroup Relative Policy Optimization（グループ相対方策最適化）の略です。これは、検証可能な結果報酬を用いてモデルを訓練する強化学習手法で、結果の正しさを確認できた場合にモデルが報酬を得る仕組みです。OPDはオンポリシー蒸留（on-policy distillation）の略です。FLOPs（浮動小数点演算数）は、本研究を通じて訓練計算量の物差しとして用いられています。この物差しが重要なのは、すべての訓練ランにおける時間およびインフラコストと密接に連動しているためです。
本研究は、消費した訓練計算量1単位あたりどれだけのホールドアウト精度を各手法が提供するかというシンプルな評価軸で、この2つのアプローチを比較しました。ホールドアウトタスクとは訓練から除外された問題であり、それらに対する精度は記憶ではなく汎化能力を反映します。この問いに答えるため、研究者らは数学やコードを含む複数のドメインにおいて、さまざまなタスク難易度と教師モデルの構成のもとで、ホールドアウトタスクの精度を訓練FLOPsに対して測定しました。
主要な結果：まず専門モデル、その後に統合
最も際立った知見は、論文がマルチティーチャーOPDと呼ぶ手法に関するものです。GRPOで数学とコードを同時に1つのモデルに訓練する代わりに、研究者らはまず各ドメインごとに個別のGRPO「エキスパート」チェックポイントを訓練しました。その後、これらのエキスパートを単一の生徒モデルに蒸留しました。ここでいう蒸留とは、生徒モデルにエキスパートの出力を再現するよう訓練することを指し、複合ドメインに対して強化学習プロセス全体を再実行することなく、その能力を引き継ぎます。
数学＋コードの設定において、この生徒モデルは一括GRPO訓練と同等の性能を達成し、総計算コストは42%低くなりました。重要なのはその経済性です。強化学習の作業は専門モデルごとに1度だけ支払われ、統合された生徒モデルは、論文がそのごく一部のコストと見積もる蒸留パスを通じてそれを吸収したのです。
統合ステップ自体が低コストであることも判明しました。研究によると、2ドメインの場合、蒸留は専門モデル訓練コストのわずか5.2%を占めました。設定を4ドメインに拡大すると、蒸留の割合は専門モデル訓練FLOPsの8.0%に上昇しました。
蒸留が及ばなかった領域
ただし、この論文は蒸留を万能の勝者として位置づけてはいません。OPDが外部の事後訓練済み教師モデル、すなわち社内エキスパートではなく別の場所で訓練されたモデルに依存した場合、FLOPsあたりの性能では概してGRPOを下回りました。これらの外部教師モデルは、生徒の応答を必要以上に長くする傾向もありました。
ただし、教師モデルに関して明るい材料もありました。生徒自身の過去のチェックポイントから構築された自己GRPO教師モデルは、単一ドメインの精度を回復するうえで非常に高い効率を示しました。研究サマリーは、この設定において蒸留FLOPsが最大50分の1に削減されたと述べています。
この結果がAI訓練予算にとって重要な理由
本研究は、大規模言語モデルの事後訓練を低コスト化するというSalesforceのより広範な取り組みの一環です。また、GRPOを含む手法群である、検証可能報酬を用いる強化学習パイプラインの継続的な開発にも基づいています。事後訓練とは、ベース訓練後のモデルの振る舞いを形づくる段階であり、性能目標と有限な計算予算のバランスを取るチームから、こうしたFLOPsあたり精度の比較が注目される理由です。
4ドメインの数値はスケーラビリティを示唆しています。ドメインが倍増するにつれて蒸留のコスト割合は5.2%から8.0%に上昇しており、少なくともテストされた構成の範囲内では、エキスパートの数が増えても統合ステップが比較的手頃なコストに保たれることを示唆しています。
留意すべき注意点もあります。これはプレプリントであり、まだ査読を経ていません。また、注目の42%という数字は、特定の2ドメイン（数学とコード）の比較に基づくものです。今後注目すべき展開はそれに応じて具体的です。正式な査読、そして分割して統合するアプローチの優位性が、テストされたもの以外のドメインや構成でも成り立つかどうかです。
元の報道はCryptoBriefingが公開したもので、Diego Almada Lopezが編集を担当しました。
