Forscher von Meta AI haben GAMUT vorgestellt, einen neuen Benchmark zur Bewertung einer Dimension der KI-Leistung, die in den meisten bestehenden Tests tendenziell übersehen wird: faktische Vollständigkeit. Während weit verbreitete Benchmarks zur Faktizität wie TruthfulQA, FEVER und HaluEval darauf ausgerichtet sind, falsche oder halluzinierte Aussagen zu erkennen, messen sie in der Regel nicht, ob die Antwort eines Modells relevante Informationen auslässt. GAMUT schließt diese Lücke, indem geprüft wird, ob ein KI-System alle relevanten Fakten enthält, die eine umfassende Antwort beinhalten sollte.

Der Benchmark, dessen vollständiger Name Grounded Assessment of Multimodal Factuality lautet, wurde in einem am July 21, 2026 veröffentlichten arXiv-Paper beschrieben. Er verwendet ein strukturiertes, rubrikbasiertes System, das die Frage, ob eine KI alle notwendigen Informationen abgedeckt hat, in binäre, maschinell auswertbare Checklisten überführt.

Wie GAMUT funktioniert

GAMUT adressiert das Problem ausgelassener Informationen mithilfe eines zweistufigen Meta-Rubrik-Frameworks. Das System organisiert erforderliche Inhalte hierarchisch — es listet also nicht nur Fakten auf, die eine Antwort enthalten sollte, sondern strukturiert sie nach Wichtigkeit und Kategorie. Diese Anforderungen werden anschließend in Ja-oder-Nein-Fragen umgewandelt, die Sprachmodelle konsistent und zuverlässig bewerten können.

Der Benchmark umfasst 1,813 Fragen, die auf realen Wearable-Bilddaten basieren und zehn verschiedene Bereiche abdecken. Jede Frage ist mit expertengeprüften Rubriken verknüpft, wobei menschliche Fachleute die Kriterien für eine vollständige Antwort festlegten, bevor ein KI-Modell bewertet wurde.

Ergebnisse zur Modellleistung

Meta bewertete 14 verschiedene KI-Modelle anhand des GAMUT-Benchmarks. Das Modell mit der höchsten Punktzahl war Gemini 3.1 Pro, das 58.7% erreichte — ein Ergebnis, das die Schwierigkeit des Benchmarks und die Lücke zwischen den aktuellen Modellfähigkeiten und vollständiger faktischer Vollständigkeit unterstreicht.

Den Forschern zufolge zeigte GAMUT über die getesteten Modelle hinweg eine starke diskriminierende Fähigkeit, was bedeutet, dass der Benchmark leistungsstärkere Modelle effektiv von schwächeren unterscheiden konnte, statt gebündelte oder kaum differenzierte Bewertungen zu erzeugen.

Meta hat die Benchmark-Ressourcen öffentlich über Hugging Face verfügbar gemacht, sodass andere Forscher und Entwickler ihre eigenen Modelle anhand derselben Rubriken bewerten können.

Bedeutung für die Bewertung multimodaler KI

Das multimodale Design von GAMUT fügt den Bewertungen eine entscheidende Dimension hinzu. Da die Fragen des Benchmarks in Wearable-Bilddaten verankert sind, müssen teilnehmende Modelle visuelle Eingaben interpretieren und umfassende Textantworten erzeugen. Damit werden sowohl visuelles Verständnis als auch die Fähigkeit getestet, faktisch vollständige Antworten zu liefern — Fähigkeiten, die zunehmend relevant werden, da KI-Assistenten in Geräte wie Smartglasses und andere Wearable-Plattformen integriert werden. Meta selbst vermarktet Ray-Ban Meta Smart Glasses, wodurch faktische Vollständigkeit bei visueller Fragebeantwortung zu einem praktischen Anliegen und nicht nur zu einer rein akademischen Kennzahl wird.