METRは、研究上の問題を解く際にAIエージェントがどれほど費用対効果に優れているかを測るため、「expenditure horizon」と呼ばれる指標を導入した。この指標をNanoGPT speedrunに適用した初期結果は限定的であり、METRはこのアプローチには重要な盲点があると指摘している。より新しいAIモデルによって結果が変わる可能性もある。

AI研究における中心的な問いの一つは、AIシステムが自らの開発を加速し、モデルが後続モデルの改善をますます速いペースで支援する循環を生み出せるかどうかだ。これを測定するのは難しかった。関連するコストが直接比較できないためだ。研究者は、人間の労働、実験に使われる計算資源、AIシステム自体を稼働させるコストを考慮しなければならない。したがって、これらのコストを同じ尺度に置く指標は、自動化されたAI研究に関する主張を、ベンチマークスコアや逸話的な事例だけに頼らず評価するうえで有用となる。

METRが提案する答えが「expenditure horizon」だ。この指標は、同じ改善を達成するためにAIシステムと人間がそれぞれどれだけ支出しなければならないかを比較する。expenditure horizonは、2つのアプローチのコストが等しくなる予算水準を指す。その水準を下回ればAIの方が費用対効果が高く、上回れば人間の方が安い。

この指標は、METRが過去のテストで観察したという傾向に基づいている。AIエージェントは単純で低コストのタスクを人間より速く完了することが多い一方、予算が増え、タスクが難しくなるにつれて遅れを取りやすいというものだ。

METRによると、この手法には一般的なAIベンチマークに比べて2つの利点がある。第一に、単なる合否の結果だけを返すわけではない。代わりに、一定の金額に対してどれだけの改善が達成されたかを、より細かく測定する。第二に、AIシステムの稼働コスト、実験に使われる計算資源、人間の労働時間を含む異なる投入要素を、単一の通貨に換算する。

METR、人間は1％の高速化あたり約$2,500を費やすと推定

METRはこの指標をNanoGPT speedrunでテストした。これは、ボランティアがAI言語モデルをできるだけ速く訓練することを競う公開コミュニティプロジェクトだ。タスク自体は固定されており、参加者が変更できるのは訓練方法だけである。2024年5月以降、標準化されたハードウェアで必要な時間は、記録された82の改善ステップを通じて約45分から2分未満に短縮された。このため、このspeedrunはコスト比較に役立つ管理された環境となる一方、プロジェクトの途中で目標、制約、評価基準が変わり得るより広範なAI研究の代理指標としては限定的でもある。

人間の作業コストを推定するため、METRはプロジェクトで特に活発な貢献者2人にインタビューした。また、AIモデルのOpus-4.6にも各改善の背後にある作業量を推定させた。両方のアプローチは同様の数値を示し、1％の高速化ごとにおよそ16時間の作業という結果になった。時給を$150と仮定すると、METRは1パーセントポイントあたり約$2,500のコストと算出した。

METRは、この推定には大きな不確実性があると強調している。インタビューでは、貢献者の時間の大半が最終的にうまくいかなかったアイデアに費やされていたことも浮き彫りになった。

AIエージェントの成果はこれまで限定的

比較のため、METRは6つのAIモデルに同じタスクを独立して取り組ませた。モデルはゼロから始めたわけではない。代わりに、2026年3月のRecord #78という、すでに高度に最適化されたspeedrunのバージョンから開始し、1回の実行あたり計算資源と運用コストとして最大$10,000を使うことが認められた。

その結果、推定されたexpenditure horizonは$0から$3,300の範囲だった。性能はモデル間で大きく異なった。GPT-5とOpus-4.1は慎重な検証の後、本物の進展を示さなかった。見かけ上の改善はランダムノイズによるものとされた。対照的に、GPT-5.5とOpus-4.8はそれぞれ約1％と1.5％の実質的な改善を達成した。

モデルの提案の質はまちまちだった。speedrunのメンテナーは、AIが生成したアイデアの約70％は原理的にはプロジェクトに統合できると推定したが、その多くは特に独創的ではなかった。彼はGPT-5.5による低レベルの最適化を「coolest one」と表現した一方、残りの提案の大半はパラメータ調整だと評した。

モデルはまた、複数回にわたり不正に近い試みも行った。これらは、テスト上は人為的に良い結果を出すものの、実際には役に立たない近道であり、たとえばゴール直前に訓練の一部を停止するようなものだった。この問題は、METRの検証ステップがなぜ重要かを示している。高速化が意図されたタスクを維持しているかを確認しなければ、自動最適化は、測定結果を改善する一方で基礎となる実験を損なう行動に報酬を与えかねない。

METRの結論は、個々のモデルが低い4桁台のexpenditure horizonに達したとはいえ、それらの値はNanoGPT speedrunの背後にある人間の総作業量の推定$250,000と比べると非常に小さいというものだ。METRの評価では、自律的な最適化はこれまでのところNanoGPT全体の進展にごくわずかしか貢献していない。

新しいAIモデルが比較を変える可能性

METRのテストには重要な留意点がある。含まれていたのはGPT-5、GPT-5.2、GPT-5.5、Opus-4.1、Opus-4.8という古いモデルだけだった。その後にリリースされたFable 5、GPT-5.6 Sol、Opus 5などのモデルは論文に含まれていない。

AnthropicはOpus 5を大幅な改善として位置づけている。同社によると、Frontier-BenchではOpus 5がタスクあたりのコストを下げながらOpus 4.8の性能を2倍にしている。Anthropicによれば、Opus 5は行き止まりに費やす労力が少なく、自分の作業をより確実に検証し、平均で26％少ない計算ステップで同等の性能に達する。これらの要因はいずれも、METRのexpenditure horizonに直接影響する。

ARC-AGI-3での結果も注目に値する。このベンチマークは暗記された知識ではなく、問題解決能力をテストするよう設計されている。AIシステムは、指示も目標もない未知のゲームのような環境に置かれ、試行錯誤を通じて進め方を判断しなければならない。

Opus 5は2026年7月24日以降、ARC-AGI-3で首位を維持しており、スコアは30.2％だった。過去のすべてのモデルが失敗していた5つのタスクを解いた。前身のOpus 4.8のスコアはわずか1.5％だった。ARC Prizeチームは、この改善をより強い論理的推論能力によるものとしており、それによってAIがより自律的に探索し計画できるようになったとしている。この能力はNanoGPT speedrunにも関連する可能性があるが、METRの公開済み比較でそれらのexpenditure horizonが異なるかを示すには、新しいモデルで再実行する必要がある。

この研究は人間とAIの協働を測定していない

この研究の最大の限界の一つは、METR自身が認めている点でもある。分析は、AIシステムが完全に自律的な最適化として単独で作業する場合を測定している。実際のAI研究では、人間は通常、研究タスクを完全に委任するのではなく、AIをツールとして使う。

METRは、この人間とAIの協働シナリオについて、3つ目の仮想的な曲線を説明している。人間がAIをいつ、どのように使うかについて有効な判断を下せるなら、ハイブリッド型のアプローチは理論上、人間だけのアプローチとAIだけのアプローチの双方を、それぞれの強みを組み合わせることで上回るはずだ。

ただしMETRは、この結果が保証されるわけではないと注意を促している。同組織は、人間とAIを組み合わせた構成が、人間だけで作業する場合より悪い結果になることがあると示した過去の研究に言及している。利益が得られるかどうかは、プロセスの適切な部分にAIが適用されるかに依存する。

これを適切に測定するには、同じ研究者がAI支援ありとなしで作業する場合を比較する対照実験が必要になる。METRは、そのような実験を組織するのは難しいが、非常に有益だとしている。それまでは、expenditure horizonはAIシステムが単独で何を達成できるかについての証拠を提供する一方で、実際に人間の研究者をどれほど加速するかについては、はるかに少ないことしか示さない。