あるAIモデルが、未公開の研究レベル理論物理学問題50問に取り組み、そのうち49問を解きました。

この結果は、新しいプレプリント「TheoPhysEval」によるもので、対象モデルはGPT-6-Astraです。ウェブ検索を有効にした状態で98%のスコアを記録しました。これは、大学院生なら握手とより重い仕事量で報われるような成績です。

ベンチマークが実際にテストした内容

「TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving」と題されたこの論文は、2026年10月9日にarXivに掲載されました。以前は未公開だった理論物理学問題50問からなるベンチマークを導入したもので、問題は流体力学から場の量子論に至る11の分野から選ばれています。

目的は、AIエージェントが人間の介入ゼロで何を成し遂げられるかを確かめることでした。モデルを誘導する者も、途中でミスを修正する者もいません。「エージェント」という呼称には意味があります。これは、単一のプロンプトに一発で答えるのではなく、情報検索から完全な解答に至るまでの複数ステップのタスクを自力で実行するシステムです。

ICTSやGoogle DeepMindを含む機関の物理学者がこの研究を主導し、著者は幅広い研究機関に属する35名に及びます。チームは、物理学向けに特別に設計されたツールではなく、市販のモデルを評価しました。つまり、結果は汎用モデルの能力を反映しています。評価基準は、熟練した理論物理学者に必要なスキルを近似するよう設計されました。

スコアボード

テストは、外部情報の価値を分離するために設計された2つのトラックで実施されました。「現実的」トラックでは、実際の研究者と同様にモデルがウェブ検索を行える一方、「隔離」トラックではインターネットから完全に切り離されました。

現実的トラックで、GPT-6-Astraは50問中49問を解き、総コストは116.28ドルでした。隔離トラックではスコアは50問中46問に低下。つまり、ウェブアクセスは3問分の価値があったことになります。

Opus 5.5は両トラックで50問中46問でした。ウェブアクセスを許可しても、スコアは上下しませんでした。

そして、最後まで残った問題があります。研究者がテストしたすべてのモデルが解けなかった、たった1問です。50問の中で、ただ1問が分野全体悩ませるほど難問だったのです。

学生が模範解答を修正するとき

おそらく最も注目すべき発見は、スコアではありません。研究によると、モデルの取り組みが、人間が作成した一部の参照解答の修正につながったのです。

未公開問題の使用もここで重要になります。一度も印刷されたことのない問題は、学習データから記憶していることが難しいため、正解は記憶の再生ではなく、実際の推論を反映している可能性が高くなります。

ラボを超えて重要な理由

コストの数字も注目に値します。現実的トラックでの116.28ドルという実行コストは、人間の専門家チームが50問の研究レベル問題に取り組むのにかかる時間に比べれば小さなものです。ただし、論文の範囲はパフォーマンスであり、完全なコスト比較ではありません。

留意すべき点もあります。これはプレプリントであり、正式な査読はまだ終えていません。また、ベンチマークは50問であり、理論物理学の全体像からすれば意味のあるものの限られたサンプルです。

さらに、与えられた問題を解くことと、どの問題を解くかを選ぶことは同じではありません。このベンチマークが測定しているのは自律的な問題解決であり、新しい問いを立てる創造的な作業は測っていません。新しい問いを定式化する作業は、理論物理学者の仕事の核心であり続けています。どちらの点も、今後注視すべき未解決の問いを残しています。結果が正式な査読に耐えるかどうか、そして将来の実行で、全モデルが解けなかったたった1問がクリアされるかどうかです。