Meta AIの研究者は、ほとんどの既存評価が見落としがちなAIパフォーマンスの次元を評価するための新しいベンチマーク「GAMUT」を発表した。それは事実的完全性である。TruthfulQA、FEVER、HaluEvalなどの広く使用されている事実性ベンチマークは、虚偽や幻覚の主張を検出することに焦点を当てているが、モデルの回答が関連情報を省略しているかどうかは一般的に測定しない。GAMUTは、AIシステムが包括的な回答に含まれるべきすべての関連事実を含んでいるかどうかをテストすることで、このギャップを埋める。

正式名称「Grounded Assessment of Multimodal Factuality」と呼ばれるこのベンチマークは、2026年7月21日にarXiv論文として発表された。AIが必要な情報をすべて網羅したかどうかという問いを、二値の機械採点可能なチェックリストに変換する構造化されたルーブリックベースのシステムを採用している。

GAMUTの仕組み

GAMUTは、二段階のメタルーブリックフレームワークを通じて情報の省略という問題に取り組む。システムは必要なコンテンツを階層的に整理する。つまり、回答に含まれるべき事実を単にリストアップするのではなく、重要度とカテゴリー別に構造化する。これらの要件は、言語モデルが一貫して確実に採点できるyes-or-noの質問に変換される。

ベンチマークは、10の異なるドメインにわたる実世界のウェアラブル画像に基づく1,813の問題で構成されている。各問題には専門家が検証したルーブリックがペアリングされており、AIモデルの評価が行われる前に、人間の専門家が完全な回答の基準を定義している。

モデルパフォーマンスの結果

Metaは14の異なるAIモデルをGAMUTベンチマークに対して評価した。最高得点のモデルはGemini 3.1 Proで、58.7%を達成した。この結果は、ベンチマークの難しさと、現在のモデルの能力と完全な事実的完全性との間のギャップを浮き彫りにしている。

研究者によると、GAMUTはテストされたモデル間で強力な識別力を示した。これは、スコアが集中したり差異化されなかったりするのではなく、優れたパフォーマンスのモデルと劣ったパフォーマンスのモデルを効果的に区別できたことを意味する。

MetaはベンチマークリソースをHugging Faceで公開しており、他の研究者や開発者が同じルーブリックに対して独自のモデルを評価できるようにしている。

マルチモーダルAI評価における意義

GAMUTのマルチモーダル設計は、評価に重要な次元を追加する。ベンチマークの問題はウェアラブル画像に基づいているため、参加するモデルは視覚入力を解釈し、包括的なテキスト応答を生成する必要がある。これにより、視覚理解と事実的に完全な回答を生成する能力の両方がテストされる。これらは、AIアシスタントがスマートグラスやその他のウェアラブルプラットフォームなどのデバイスに統合されるにつれて、ますます関連性が高まる能力である。Meta自体がRay-Ban Metaスマートグラスを販売しており、視覚的質問応答における事実的完全性は純粋に学術的な指標ではなく実用的な課題となっている。