I ricercatori di Meta AI hanno introdotto GAMUT, un nuovo benchmark pensato per valutare una dimensione delle prestazioni dell’AI che la maggior parte delle valutazioni esistenti tende a trascurare: la completezza fattuale. Sebbene benchmark di factuality ampiamente utilizzati come TruthfulQA, FEVER e HaluEval si concentrino sul rilevamento di affermazioni false o allucinate, in genere non misurano se la risposta di un modello ometta informazioni rilevanti. GAMUT affronta questa lacuna testando se un sistema di AI includa tutti i fatti pertinenti che una risposta completa dovrebbe contenere.

Il benchmark, il cui nome completo è Grounded Assessment of Multimodal Factuality, è stato descritto in un paper arXiv pubblicato il 21 luglio 2026. Utilizza un sistema strutturato basato su rubriche che trasforma la domanda se un’AI abbia coperto tutte le informazioni necessarie in checklist binarie valutabili automaticamente.

Come funziona GAMUT

GAMUT affronta il problema dell’omissione di informazioni attraverso un framework di meta-rubriche a due livelli. Il sistema organizza gerarchicamente i contenuti richiesti: non si limita a elencare i fatti che una risposta dovrebbe includere, ma li struttura per importanza e categoria. Questi requisiti vengono poi convertiti in domande sì/no che i modelli linguistici possono valutare in modo coerente e affidabile.

Il benchmark comprende 1.813 domande basate su immagini reali da dispositivi indossabili e distribuite su dieci domini distinti. Ogni domanda è associata a rubriche verificate da esperti, con specialisti umani che definiscono i criteri di una risposta completa prima che qualsiasi modello di AI venga valutato.

Risultati sulle prestazioni dei modelli

Meta ha valutato 14 diversi modelli di AI con il benchmark GAMUT. Il modello con il punteggio più alto è stato Gemini 3.1 Pro, che ha raggiunto il 58,7% — un risultato che evidenzia la difficoltà del benchmark e il divario tra le capacità attuali dei modelli e una piena completezza fattuale.

Secondo i ricercatori, GAMUT ha dimostrato una forte capacità discriminativa tra i modelli testati, riuscendo cioè a distinguere efficacemente i performer più solidi da quelli più deboli, invece di produrre punteggi raggruppati o poco differenziati.

Meta ha reso pubbliche le risorse del benchmark tramite Hugging Face, consentendo ad altri ricercatori e sviluppatori di valutare i propri modelli con le stesse rubriche.

Rilevanza per la valutazione dell’AI multimodale

La progettazione multimodale di GAMUT aggiunge una dimensione cruciale alle sue valutazioni. Poiché le domande del benchmark sono ancorate a immagini da dispositivi indossabili, i modelli partecipanti devono interpretare input visivi e generare risposte testuali complete, mettendo alla prova sia la comprensione visiva sia la capacità di produrre risposte fattualmente complete — competenze sempre più rilevanti man mano che gli assistenti AI vengono integrati in dispositivi come smart glasses e altre piattaforme indossabili. Meta commercializza a sua volta gli smart glasses Ray-Ban Meta, rendendo la completezza fattuale nelle risposte a domande visive una questione pratica, non soltanto una metrica accademica.