ニュースマクロClaude Opus 5、複数のベンチマークで首位に立ちつつコストはFable 5を下回る

Claude Opus 5、複数のベンチマークで首位に立ちつつコストはFable 5を下回る

著者: The Decoder·

重要ポイント

  • Claude Opus 5はArtificial Analysis Intelligence Indexで61を記録し、Claude Fable 5、GPT-5.6 Sol、Kimi K3、Claude Opus 4.8をわずかに上回った。
  • コーディングテストでは、Opus 5はArtificial Analysis Coding Indexで同率首位となり、Terminal-Bench v2.1のmaxティアで89 percentを記録してGPT-5.6 Solに並んだ。
  • 事実正確性は引き続き弱点で、Opus 5はAA-OmniscienceでFable 5に後れを取り、幻覚率は14ポイント上昇して50 percentとなった。
  • Epoch AIはOpus 5を総合でFable 5よりわずかに低く評価した一方、GPT-5.6 Solは総合Epoch Capability Indexとソフトウェアエンジニアリング分野の両方で首位だった。
  • Vals.aiは、Opus 5のhigh推論ティアがVibe Code Benchで最も良い性能を示し、より高コストのxhighおよびmaxティアを上回ったと報告した。
Claude Opus 5、複数のベンチマークで首位に立ちつつコストはFable 5を下回る

AnthropicのClaude Opus 5は、複数のベンチマーク結果によると、現在利用可能なAIモデルの中で最も高い能力を持つモデルとされ、分析品質、コーディング、ナレッジワークのタスクで特に強い性能を示している。同モデルは多くのテストでClaude Fable 5に並ぶか上回り、全般的にコストも低い。ただし評価では、不確実な場合でも回答する際の幻覚率が高いことも示されている。

Artificial Analysis Intelligence Indexで、Claude Opus 5は61を記録した。この指数は、ナレッジワーク、コーディング、科学的推論、事実正確性にまたがる9つのテストを組み合わせたものだ。この結果により、Opus 5はClaude Fable 5の60、GPT-5.6 Solの59、Kimi K3の57、Claude Opus 4.8の56をわずかに上回った。Artificial Analysisは、一般公開前にAnthropicと協力して同モデルをテストした。

コーディングのベンチマークでは、Claude Codeと併用した「xhigh」推論レベルのClaude Opus 5が、Artificial Analysis Coding Indexで同率首位となった。この指数は、AIモデルがバグの特定と修正を含むプログラミングタスクをどの程度自律的に完了できるかを測定する。実際のターミナル環境で自律エンジニアとして動作するエージェントを評価するTerminal-Bench v2.1では、Opus 5が「max」ティアで89 percentを記録し、従来の首位だったGPT-5.6 Solに並んだ。

科学的推論では、Opus 5は複数分野にわたる難度の高い学術知識テストであるHumanity's Last Examで53 percentを記録し、Claude Fable 5と並んだ。Argonne National LaboratoryとUIUCの研究者が開発した物理ベンチマークCritPtでも、Opus 5は再びFable 5に並んだが、GPT-5.6 Sol、GPT-5.5 Pro、GPT-5.6 Terraには及ばなかった。

事実正確性は依然として相対的に弱い領域だ。モデルの知識主張の正確性をテストするAA-Omniscienceでは、Opus 5はOpus 4.8から7ポイント改善したものの、Fable 5には引き続き後れを取った。同モデルは不確実な場合にもより頻繁に回答するため、幻覚率は14ポイント上昇して50 percentとなった。このトレードオフは、ユーザーが長く複雑なタスクの完了を求める一方で、根拠が不十分な場合には信頼できる拒否や不確実性の扱いも必要とする導入環境で重要になる。

Epoch AIの結果はフロンティアモデル間の接戦を示す

Epoch AIもClaude Opus 5を評価している。同研究機関は同モデルに総合Epoch Capability Indexで159を付け、Fable 5の161をわずかに下回った。一方、SWE-ECIとして知られるソフトウェアエンジニアリングのサブセットでは、Opus 5は161でFable 5と並び、GPT-5.6 TerraとClaude Opus 4.8を上回った。GPT-5.6 Solは総合指数とソフトウェアエンジニアリング分野の両方で首位に立っている。

これらの結果は、フロンティアモデル間の性能差が小さいことを示している。すべてのカテゴリで明確なリードを示す単一のモデルはない。この結果は、AIモデルが次第にコモディティ化する可能性があるという主張とも整合する。この見方は、Microsoft CEOのSatya Nadellaの発言に関連しても議論されている。また、購入者や開発者が単一の見出しスコアではなく、ワークロード、レイテンシ、信頼性、コストでモデルを比較するようになっている理由も示している。

低い推論ティアはコーディングでより高い価値を提供する可能性

Opus 5でのIntelligence Indexタスクの平均コストは$2.03だった。これはフォールバック付きのClaude Fable 5の$2.75より低いが、Opus 4.8の$1.80、Sonnet 5の$1.53よりは高い。ただし「high」と「xhigh」の推論ティアでは、Opus 5はOpus 4.8とSonnet 5の両方を上回りながら、コストはより低かった。

Vals.aiは、プログラミングタスクのベンチマークであるVibe Code Benchを使い、5つすべての推論ティアでClaude Opus 5をテストした。スコアは「low」の76.7 percentから「medium」の82 percent、「high」の89.8 percentへ上昇した。その後、最上位2ティアでは性能が低下し、「xhigh」は88.3 percent、「max」は88.4 percentとなった。いずれもコストは大幅に高かった。

Vals.aiによると、最上位ティアはより複雑な解決策を生成する傾向があり、その結果エラーを含む頻度が高くなる。「high」ティアは、要件をより確実に満たす、より単純な解決策を生成した。

Terminal-Bench 2.1でも同様の傾向が示されている。「high」ティアが「max」を上回ったのは、最上位ティアではモデルが各試行により多くの時間を費やし、ベンチマークの制限時間内で実行できる試行回数が少なくなるためだ。これは、APIとClaude Codeの両方で「high」をデフォルトティアに設定しているAnthropicのガイダンスとも一致する。

トークン価格は、入力100万トークンあたり$5、出力100万トークンあたり$25のままだ。キャッシュ書き込みは有効期間5分で100万トークンあたり$6.25、キャッシュヒットは100万トークンあたり$0.50となっている。これらの価格設定により、エージェント型コーディングや文書量の多いワークフローでは、出力の長さ、再試行の挙動、プロンプトキャッシュが実効コストの重要な要素になる。

Opus 5はナレッジワーク評価でリード

Opus 5は、AA-Briefcaseベンチマークで特に強い性能を示している。このベンチマークは、数千の入力ファイルに基づいて調査レポートを作成したり、プレゼンテーションを作成したり、スプレッドシートを分析したりする一般的なオフィスタスクを、AIモデルがどの程度処理できるかを測定する。ベンチマークは正確性、分析品質、プレゼンテーション品質にわたって性能を採点し、その結果をチェスのランキングに似たEloレーティングへ変換する。

max推論では、Opus 5はEloスコア1720に達し、1574のClaude Fable 5を146ポイント上回った。最上位3ティアであるmax、xhigh、highが上位3位を占めた。Fable 5、Sonnet 5、Opus 4.8と合わせて、Anthropicのモデルは現在、トップ10の大半を占めている。

タスクあたりのコストは20 percent低下して$17.79となり、Fable 5の$22.30を下回った。「xhigh」版はタスクあたり$14.26、「high」は$10.41で、Fable 5の半分未満だ。両ティアともEloではなおFable 5を上回った。medium性能では、Opus 5はEloスコア1470を記録し、maxで1505のGPT-5.6 Solのわずかに後ろにつけた。low性能では、Opus 5は1223 Eloで、maxのGLM-5.2の1254をわずかに下回った。

Opus 5の最大の改善は分析品質に表れている。「max」では、同モデルはAnalytical Quality Eloで2016に達し、Fable 5を約300ポイント上回った。モデルが事前定義された品質基準を満たす頻度を測るRubric Pass Rateは、「max」で58 percent、「xhigh」で57.2 percent、「high」で56 percentだった。

プレゼンテーション品質では優位性はそれほど大きくなかった。Opus 5のPresentation Eloは1628で、「max」で1666を記録したGPT-5.6 Solを約40ポイント下回った。

性能を高めるには、より多くの時間も必要になる。「max」では、Opus 5はタスクあたり36分超を要し、平均103パスを実行する。これは、24分で平均55パスのOpus 4.8よりおよそ50 percent長い。同モデルを評価するチームにとって、ベンチマーク結果は、最適なティアが最大限の分析、より速い処理、またはタスクあたりの低コストのどれを重視するかによって変わり得ることを示している。