AnthropicのClaude Opus 5は、AIシステムが訓練時に見た知識やパターンに頼るのではなく、未知のタスクを解けるかどうかを検証するベンチマークARC-AGI-3で、最高性能のモデルとなった。

ARC Prizeによると、Claude Opus 5はARC-AGI-3で30.2%を記録し、OpenAIのGPT-5.6 Sol（Max）が持っていた従来の最高記録7.8%のほぼ4倍に達した。この結果により、Opus 5はARC Prizeによれば約20%に到達したAnthropicの「Fable-class」モデルも上回った。

Opus 5は、これまで解かれていなかった5つの環境を解決し、そのうち4つは人間と同等以上の水準だった。25の公開デモ環境のうち、現在までに6つが解決された。ARC Prizeは、全結果、スコアカード、およびベンチマーク用コードを公開している。

ARC Prizeの分析は、Opus 5の首位について、より強い論理的推論能力によるものだとしており、それは「未知の環境における、より自律的な探索、計画、実行を可能にする」という。テスト中、研究者らは、タスクを代数記法に変換したり、反射方程式を独自に定式化したりするなど、AIモデルではこれまで見られなかったとする挙動も観察した。

旧版のベンチマークでは、Opus 5はARC-AGI-2で90.4%、ARC-AGI-1で97.5%に達した。ARC Prizeによると、いずれのスコアも従来の最高結果と一致するが、コストはやや高かった。

ARC-AGI-3は未知のインタラクティブなタスクに焦点

ARC-AGI-3は、AIモデルが訓練中に遭遇していない新しいタスクにどの程度対応できるかを測る。対象には、人間なら通常ほとんど苦労せずに解けるタスクも含まれる。現行版はゲームのような構造になっており、モデルはインタラクティブな環境のルールを推論し、行動を計画し、それらを段階的に実行しなければならない。

このベンチマークは、暗記された知識ではなく一般的な推論能力を試すことを目的としている。ARC Prizeは、モデル単体の性能と、ハーネスと呼ばれる追加ソフトウェアを使うシステムを区別している。一部のAIシステムは、こうした外部支援を使えばすでにベンチマークを通過している可能性があるが、公式スコアに含まれるのは言語モデル自体の性能のみだ。ARC Prizeは、将来のAGIシステムは新しいタスクを解くために外部の助けを必要とすべきではないと主張している。記事では、Opus 5をClaude Code内で使用すれば、さらに高いスコアを出す可能性が高いとも指摘している。

この区別はベンチマークに関する主張を比較するうえで重要だ。支援付きシステムは、言語モデルにツール、足場となる仕組み、その他の実行支援を組み合わせられる一方、ARC-AGI-3の公式ランキングは、新しい環境を探索して解決するモデル自身の能力を切り出して測ることを意図している。

独立テストでは伸び幅はより限定的

Anthropicは、この改善について説明していない。元記事は、ターゲットを絞ったデータラベリングと強化学習が考えられる要因だとしている一方、Opus 5はARC-AGI-3とその形式が公開された後に開発されたとも指摘している。このタイミングにより、Anthropicはベンチマークのスキルやパズル形式に重点を置けた可能性があるが、同社が正確なタスクで訓練したことを示すものではない。

アノテーターは、類似パズルから推論の軌跡、有用な行動、失敗した試行、回復手順をラベル付けできた可能性がある。その後、強化学習によって、探索、計画、ルール発見、自己修正に報酬を与えることができたと考えられる。

Guanghan Ning氏のインタラクティブなパズルゲーム向け非公開ベンチマークWitnessでのテストは、より限定的な改善を示している。Opus 5は43.4を記録し、統計的にはKimi K3およびFable 5と同等だった一方、Opus 4.8からの改善幅はARC-AGI-3での伸びに比べてはるかに小さかった。これらのテストでは、Opus 5は従来型パズルの隠れたルールを、行動を起こす前に特定したが、あまり馴染みのない仕組みを持つゲームではOpus 4.8を下回った。

Ning氏は、このパターンはジャンル特化型データでの訓練と整合的だと述べた。ただし、WitnessではAnthropicが使用したデータを特定することはできない。同氏のコメントはXでhttps://x.com/quietnning/status/2080786711861407883に投稿された。

ARC-AGI-3の研究者の1人であるGreg Kamradt氏は、この結果はより広範な推論能力の向上を否定するものではないと述べた。馴染みのある仕組みに基づくゲームは新規性への適応を試すものではなく、また、そのタスクの詳細スコアがない中で、1つの弱い結果だけでモデル全体の改善を覆すことはできない。Kamradt氏のコメントはXでhttps://x.com/GregKamradt/status/2081031602596200614に投稿された。

WitnessもARC-AGI-3型のパズルを念頭に設計されているため、性能向上は暗記ではなく実際の転移を反映している可能性がある。Ning氏は後に、Opus 5はWitnessに一般化していたが、その程度はARC-AGI-3の場合よりはるかに小さかったと明確にした。同氏はこの過程をコーディングベンチマークの進化になぞらえ、インタラクティブ推論の主要な対象として、ARC-AGI-3にはまず最も多くの訓練努力が集まる可能性が高いと述べた。

Ning氏は、より多くのエッジケースをカバーすることで、モデルがより幅広い抽象的推論タスクへ一般化しやすくなる可能性があると述べた。同氏はこのパターンを、HumanEvalのような飽和したベンチマークから、頻繁に更新される競技、そして現在のコーディングエージェントへと移行したコーディング分野になぞらえた。同氏のその後の補足はhttps://x.com/quietnning/status/2081073990614061084に投稿された。