研究者らがOpenAIのGPT-OSSを600億パラメータに縮小し、しかもより賢くした
重要ポイント
- •Multiverse Computingは、OpenAIのGPT-OSSを1200億パラメータから600億パラメータに圧縮し、4ビット精度にしたと発表した。
- •同社によると、小さいモデルは元の完全精度モデルを9件中7件のベンチマークで上回った。
- •この手法では、中間の圧縮済みモデルではなく、元の非圧縮モデルを教師として学習させる。
- •修復済みのHypernova-60BはHugging Faceでオープンウェイトとして公開された。
- •ただし、基盤となる縮小ツールは非公開で、同社が試したのはGPT-OSSのみである。
Multiverse Computingのチームは8月25日、Hugging FaceブログでQuantization-Aware Healingと呼ぶ手法を公開した。同社はOpenAIの公開GPT-OSSモデルを1200億パラメータから600億パラメータへ縮小し、メモリを4ビット精度に圧縮したと説明しており、小さい版は元の高品質モデルを上回り、比較に使った9件中7件のテストで優位だった。
その結果の鍵は、縮小したモデルを弱い中間版ではなく、元の高品質版から学習させたことにある。
研究チームは、大規模AIモデルのより小さく安価な版を作成し、その小さい版が縮小元よりも賢くなった。通常、それは起こるべきではない。筋肉を失いながら同時に強くなるようなものだからだ。しかしMultiverse Computingのチームはそれが起きたとし、その理由はAIの縮小方法を業界が誤ってきた可能性を示している。
「実務者にとっての実践的なメッセージは、蒸留ベースの修復パイプラインでは量子化の段階を最小化すべきコストではなく、教師による監督の追加機会と捉えるべきだということだ。その結果、モデルは推論コストが低く、メモリ使用量が少なく、しかも完全精度版と少なくとも同等の精度を持つ」と、研究者らは金曜日に公開された論文で述べた。
通常のモデル圧縮の仕組み
AIモデルのパラメータは、モデルが学習したすべてを保持する数値の巨大なつまみの壁のようなものだと考えられる。つまみの数が多いほど、一般にモデルは賢くなるが、動かすにはより重くなる。OpenAIのGPT-OSS 120Bはそうしたつまみを1200億個持ち、それぞれがメモリと電力を消費する。GPT-OSSは、OpenAIが2019年のGPT-2以来となる公開重みの言語モデルとして2025年8月に公開したモデルファミリーであり、これにより今回のような外部チームがダウンロードして改変できるようになった。
AIを安価に提供するため、企業はつまみを削り、生き残ったものを小さくする。この過程は写真をzip圧縮するのに似ている。ファイルは小さくなるが、圧縮しすぎると画像はぼやけ、4Kから720pに落とすようなものだ。モデルを縮めすぎると性能は低下する。このトレードオフは広く受け入れられてきた。
今回の研究者らはさらに踏み込んだ。GPT-OSSを600億パラメータに切り詰め、それぞれを小さな4ビットの枠に押し込んだ。デジタル上での極端な圧縮に相当する。通常ならモデルは大きく損なわれるが、研究者らはそれを実際には強化する方法を見つけた。比較に使ったほぼすべてのベンチマークで、小さいモデルは完全精度で作られたモデルを上回った。
写し間違い
モデルを縮小する際は、通常は「半分縮んだ」版、つまり600億個のつまみを持つ高精度のモデルと比較して誤りを修正する。この教師と生徒の手順は、分野では知識蒸留として知られ、Geoffrey Hintonらの影響力ある研究で体系化された手法だ。問題は、中間のモデル自体がすでに元モデルのぼやけた写しであることだ。そのため、小さいモデルは欠陥のある双子を真似るように学習させられ、その双子を超えることはできない。
研究者らが「Quantization-Aware Healing」と呼ぶ手法は、学習対象を変える。小さいモデルを大きく非圧縮の元モデルに向け、「このモデルの答えを写せ」と指示する。小さいモデルは、曇った中間ではなく、師から学ぶ。9件中7件のテストで、4ビットの600億モデルは、本来はより良いはずだった600億モデルの双子を上回った。真の1200億パラメータモデルは依然として多くの局面で勝っており、サイズが不要になったわけではないが、「ダイエット版」は誰も思わなかった水準を超えた。
AIはハードウェアを大量に消費するため、小さくて賢いことには大きな意味がある。修復済みモデルが必要とするメモリは元の約4分の1、つまみの数は半分だ。これは、データセンターで動くAIと、十分な性能のデスクトップ、やがてはスマートフォンに載るAIとの違いにあたる。4ビット量子化は、compressedモデルを一般向けハードウェアで動かすllama.cppやOllamaのようなローカルAIツールですでに標準的な形式になっているため、4ビットで精度を維持するこの手法は、既にローカル開発者が使っている流れに乗るものだ。半分のエネルギーでより良い結果を出せるモデルは、小規模研究室やローカル開発者にとって大きな意味を持つ。
このモデルは無料でもある。チームは修復済みHypernova-60BをHugging Faceでオープンウェイトとして公開しており、誰でもダウンロードして実行できる。これは、予想外の基準を超える公開モデルが続いている流れにも合致する。正体不明の無料モデルOx Alphaは最近、開発元が不明のままClaudeシステムを上回ったほか、AlibabaのQwen 3.8 Flash Nextへの注目や、FableやClaude Opusのようなより大きなLLMの推論トレースを使って小型モデルを改善する微調整の波もある。
ただし、過度に強調しすぎてはいけない。600Bの学生モデルを作る縮小ツールは独自仕様であり、レシピはまだ完全には公開されていない。また、チームが試したのはGPT-OSSのみで、Llama、Qwen、Mistral系統ではない。
