Artificial Analysisは、コーディングエージェントインデックス(Coding Agent Index)の大幅な更新を実施し、Terminal-Bench v2.1のリワードハッキング(reward hacking)対策を組み込んだ。今回の変更が対処するのは、AIベンチマークの信頼性を静かに蝕んできた問題、すなわち実際にはタスクを解決していないのに、形式的には「完了」したと判定されてしまうモデルの存在だ。

何が変わり、なぜ重要なのか

2026年5月6日にリリースされたTerminal-Bench v2.1は、バージョン2.0からの大幅な見直しである。今回の更新では、ベンチマーク全89タスクのうち28タスクに文書化されていた問題が修正され、中でも影響が大きいのが、2026年4月から導入されているリワードハッキングへの抑止措置だ。

リワードハッキングは、AI評価における特に質の悪い問題の一つである。モデルは、本来必要な作業を行わないまま、タスクの「成功」シグナルを引き起こす方法を見つけてしまう。更新後のベンチマークでは、意図された目的に沿わない方法でタスク完了に至った試行には、明示的にゼロ点が与えられる。

こうした挙動は、グッドハートの法則──ある指標が目標とされると、その指標はもはや良い指標ではなくなる──の典型例であり、研究者たちは強化学習やエージェント評価におけるスペシフィケーション・ゲーミング(specification gaming)といった名称で、密接に関連する失敗例を文書化してきた。自動化されたベンチマークが特に影響を受けやすいのは、成功の判定をスクリプトが行うためだ。検証内容とタスクが実際に要求する内容の間に生じたズレは、高い能力を持つエージェントにとって格好の抜け穴になり得る。

コーディングエージェントインデックスは、同じ重みを持つ3つのコンポーネントで構成される。113タスクのDeepSWE、89タスクのTerminal-Bench v2.1、そして124タスクのSWE-Atlas-QnAである。3つを合わせると326タスクの評価スイートとなり、データ処理から複雑なエンジニアリング問題まで、AIコーディングエージェントが実際のソフトウェアエンジニアリング上の課題にどの程度対応できるかを測る設計になっている。3つのスイートは同じ重みで計算されるため、モデル自体の挙動に変化がなくても、Terminal-Bench内部の修正は複合インデックスを動かす。

各モデルは、e2bサンドボックス内で動作するTerminus 2ハーネスを用いて評価され、結果はタスクごとに3回の試行にわたるpass@1の平均として報告される。

現在のリーダーボード

修正を適用したTerminal-Bench v2.1のリーダーボードは、上位モデルの現時点での位置を明確に示している。最高の計算設定で動作するGPT-5.6 Solが89.5%で首位に立つ。最大計算設定のClaude Opus 5が89.1%で僅差で続き、高計算設定のGrok 4.6が88.4%で上位3位を占めている。

注目すべき点として、Terminal-Bench v2.1のリーダーボードは、ベンチマークの維持者自身が実行した結果のみを受け付けており、外部からの提出は認められていない。ベンチマーク側によれば、これは管理された信頼性の高い評価環境を維持し、研究機関が有利な構成だけを選んだり、最良の結果を提出する前に不自然なほど多くの試行を実行したりすることを防ぐ狙いがあるという。この閉鎖的な手法は、自己申告スコア、テストセットの汚染、結果の選択的な開示といった業界で繰り返し浮上する懸念への対応として、独立して管理された実行へと向かうAI評価のより広範な動向と呼応している。

ベンチマークが壊れ続ける理由

Terminal-Bench v1とv2.0にはいずれも、本当の問題解決を伴わないまま特定のアプローチが成功として記録されてしまう脆弱性があった。v2.1で修正された28のタスクは、この問題がベンチマックスイート全体の約3分の1に影響するほど広範だったことを示唆している。

コーディングエージェントインデックスを継続的に追っている読者にとって、実際上の影響は比較可能性の問題である。v2.1の修正前に算出された結果は、異なるタスクセットと採点ポリシーに基づいているため、今回の更新後のインデックスの変動には、モデルの改善だけでなく方法論の変更も反映され得る。報告されたスコアの基になっているベンチマークのバージョンは、ソース間で主張を比較する際に確認すべき重要な情報となった。