マイクロソフトの研究者たちは、より安価なAIモデルを自身の高価な推論モードより優れた性能にする方法を発見した。しかもそのコストは、ラテ1杯分程度だ。

8月11日に発表された論文「Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills」は、少数のタスク例からコンパクトなルールセットを抽出する受動的なスキル蒸留手法を紹介している。プレーンなMarkdownで記述されたこれらのルールは、モデルのシステムプロンプトに注入され、コストのかかる思考連鎖（chain-of-thought）による推論を回避するショートカットを事実上モデルに教える。対象モデルは3月に登場したGPT-5.4-miniだ。

この結果の意義は、単一のベンチマークでの勝利にとどまらない。推論モードは、回答前に長い連鎖的な中間トークンを生成するため推論コストを押し上げるが、トークン出力は大規模なAIプロバイダーにとって主要なコスト要因だ。精度を維持または向上させながら出力トークンを数分の一に削減することは、同じタスクが数千回、数百万回実行されうる本番環境でのエージェント型ワークロードの経済性を直接変える。

仕組み

そのプロセスは驚くほどシンプルだ。コーディングエージェントが35〜50件のタスク軌跡――つまり、モデルが特定のタスクにどう取り組み、時に失敗したかの記録――をレビューする。そこから、エージェントは40〜130行のMarkdownで書かれた自然言語の「スキル」文書を蒸留する。これは抽象的な埋め込みでも、ファインチューニングによる重み調整でもない。何がうまくいき、何が失敗したかに基づいた、読んで監査可能なルールだ。

この可読性は、ドメイン知識をモデルに組み込む従来の2つの主流手法――訓練実行と専用ハードウェアを必要とするファインチューニング、そして不透明な検索や埋め込みベースのアプローチ――からの大きな転換となる。蒸留された知識がプレーンテキストで存在するため、開発者は他のプロンプトアセットと同じように、スキル文書を検査、編集、バージョン管理できる。MLOpsパイプラインは不要だ。

そのスキル文書を非推論モデルのシステムプロンプトに組み込むと、興味深いことが起こる。モデルは、通常、推論モードと非推論モードを隔てる性能ギャップの55%から100%超を回復する。平たく言えば、安価なモードが高価なモードと同等、時にはそれ以上の性能を発揮し始めるのだ。

各ドメインのスキル文書を生成する計算コストは1〜3ドルで、モデルの再訓練は不要だ。

ベンチマーク結果

Agamdeep Singh、Srishti Gautam、Priyanshu Gupta、Nikita Mehrotra、Tanmay Bakshi、Sumit Gulwaniが率いる研究チームは、ALFWorldやSpreadsheetBench-Verifiedを含む4つのエージェント型ベンチマークでこのアプローチを評価した。

ALFWorldでは、スキル強化されたGPT-5.4-miniが0.787のスコアを達成し、フル推論モードは0.713だった。より安価で高速なバージョンは、単にギャップを埋めるだけでなく、それを超えた。

ベンチマーク全体で、スキル強化モデルは推論モードと比較して2.7〜6分の1の出力トークンを使用した。トークンの削減は応答速度の向上にもつながり、レイテンシがユーザー体験を左右する対話型エージェントにとって実用的な利点となる。

SkillOptの上に築く

この論文は、6月に公開されたマイクロソフトのSkillOptフレームワークを直接土台にしている。同フレームワークは、エージェントのスキルを静的なモデル重みではなく訓練可能なパラメータとして再定義した。SkillOptは6つのベンチマークでGPT-5.5の平均23.5ポイントの向上を示し、スキルが基盤モデルから独立して最適化できるという理論的基盤を確立した。

新しい蒸留手法はこの概念を大幅にアクセスしやすくした。スキル文書はシステムプロンプト経由で注入される単なるMarkdownファイルであるため、既存のロールアウト戦略とそのまま連携できる。カスタムの推論インフラも、専用ハードウェアも、再訓練の実行も不要だ。

実務者にとっての未解決の課題は、基盤モデルが更新された際に蒸留されたスキルがどれほど持続するか、そしてこのアプローチがテストされたエージェント型ドメイン以外にどの程度一般化するかということだ。これらは、ベンチマーク結果だけではまだ答えが出ていない。