非営利研究機関であるEpoch AIは、主要な人工知能モデルの推論能力を厳格にテストすることを目的とした2つのゲームベース評価ツール「Mystery Game Puzzles」と「Chess Puzzles」を導入した。初期調査の結果、今日のAIシステムが未知の問題解決シナリオをどの程度処理できるかについて重大な限界が明らかになった。これは、複数のフロンティアラボが最新モデルの推論・計画能力をますます強調して市場に打ち出している時期に公表されたものである。

最も注目すべき結果は、Mystery Game Puzzlesベンチマークで達成された最高スコアがわずか59%であり、オープンウェイトモデルに至っては38%を上限としている点である。

ベンチマークの仕組み

各ベンチマークは100個のプログラム生成パズルで構成されている。Chess Puzzlesは比較的従来的な形式に従い、特定の盤面が与えられた場合に最善手を特定する。

Mystery Game Puzzlesは根本的に異なるアプローチをとる。このバリアントでは、AIに対してプレイしているゲームが何であるかが伝えられない。ゲームの正体は意図的に隠されており、記憶されたパターンやトレーニングデータの近道への依存を排除している。この設計は、Epoch AIが従来のAIベンチマークにおける汚染問題として指摘する問題に直接対処するものである。従来のベンチマークでは、モデルが自身を評価するために使用されるテストそのものを含むインターネットデータセットで訓練されることがよくある。

この汚染の懸念は、MMLUやGSM8Kなどの広く使用されているベンチマークでトップスコアが天井付近に集中し、主要モデル間を区別する能力が狭まっていることで、さらに深刻さを増している。暗記に抵抗する評価手法は稀少となっており、プログラム生成テストは誠実な能力評価のためにますます価値あるものになっている。

パズルをプログラムで生成し、ゲーム形式を隠すことで、Epoch AIはパターン認識という安全網を取り除き、モデルに真の空間推論と計画能力を発揮することを迫っている。

回答は、確立された解答基準に対して測定される正規化されたムーブ表記を用いて評価される。このベンチマークでは、エージェントスキャフォールディング、チェーン・オブ・ソート・プロンプティング技法、ツール使用は一切許可されない。

現在のパフォーマンス結果

Mystery Game Puzzlesにおいて、59%を超えたモデルは存在しない。オープンウェイトモデルは38%で頭打ちとなっており、フロンティアクローズドソースシステムとそのオープンウェイト版との間に顕著なパフォーマンス格差が浮き彫りになっている。

Chess Puzzlesはやや有望な状況を示している。GPT-5は2025年12月のベンチマーク導入時に37%のスコアを記録した。その後のモデルリリースによってこの数値は54%に引き上げられ、比較的短期間で測定可能な向上が示された。

ただし、54%というチェスパズルの結果でさえ、重要な違いを浮き彫りにしている。検索ベースのツールへのアクセスがある状態でのチェスの熟達は、ツールなしで未知の局面を推論することとは根本的に異なる。Stockfishのような伝統的なチェスエンジンは、網羅的な探索木と評価関数を通じて超人級のプレイを実現しており、言語モデルに期待されるような汎用推論によるものではない。ツールなしで54%を獲得したモデルは、エンジン支援プレイとは根本的に異なる基準で測定されているのである。

いずれのベンチマークも飽和に近づいているようには見えない。これは、多くの確立されたAI評価がもはやフロンティアモデル間を有意に区別できなくなっている現代において特筆すべき特性である。

より広範な影響

Epoch AIは、数学、コーディング、ゲームプレイにわたるモデル評価を集約するEpoch Capabilities Index（ECI）を含む、より広範なベンチマークハブを運営している。ECIは、単一のテストに依存することなく、迅速な能力見積もりを提供するよう構築されている。

ゲーム「Earthborne Rangers」に基づくEBR-benchと呼ばれる関連評価では、2026年7月時点で、反復的な相互作用からの学習におけるAIの向上が限定的であることが示された。この結果は、インタラクティブな推論がAIシステムにとって依然として持続的な課題であるという観察を裏付けるものである。

数ヶ月間でチェスパズルが37%から54%へ上昇したことは、進歩が続いていることを示している。しかし、ミステリーゲームの結果は、汎用推論がAI企業のプロモーション資料が示唆するよりも遅いペースでしか進展していないことを示唆している。

推論集約型タスクにおけるオープンウェイトモデルとクローズドソースモデル間の38%対59%という格差は、明白な競争上の差異を浮き彫りにしている。オープンモデルに依存する分散型AIプロジェクトにとって、このパフォーマンスの差は、コンピュートインフラの追加だけでは解決が困難な構造的な不利を意味する。また、この格差は、オープンウェイト開発がアーキテクチャの改善のみで推論の遅れを取り戻せるかどうか、あるいは独自の訓練手法とデータキュレーションが現在のオープンライセンスでは複製できない決定的な役割を果たしているのではないかという疑問も提起している。