Epoch AI, un istituto di ricerca no-profit, ha introdotto due strumenti di valutazione basati su giochi — Mystery Game Puzzles e Chess Puzzles — mirati a testare rigorosamente le capacità di ragionamento dei principali modelli di intelligenza artificiale. I risultati iniziali rivelano limitazioni significative nel modo in cui i sistemi di IA di oggi gestiscono scenari di problem-solving nuovi, un esito che arriva mentre diversi laboratori di frontiera commercializzano sempre più i loro modelli più recenti attorno alle competenze di ragionamento e pianificazione.

Il risultato più eclatante: il punteggio più alto ottenuto nel benchmark Mystery Game Puzzles è solo del 59%, mentre i modelli open-weight non superano il 38%.

Come funzionano i benchmark

Ogni benchmark è composto da 100 puzzle generati programmaticamente. I Chess Puzzle seguono un formato relativamente convenzionale — dato una specifica posizione sulla scacchiera, il modello deve identificare la mossa migliore.

I Mystery Game Puzzles adottano un approccio fondamentalmente diverso. In questa variante, all'IA non viene comunicato a quale gioco sta giocando. L'identità del gioco è intenzionalmente nascosta, eliminando qualsiasi dipendenza da schemi memorizzati o scorciatoie nei dati di addestramento. Questa scelta progettuale affronta direttamente ciò che Epoch AI identifica come un problema di contaminazione nei benchmark IA tradizionali, dove i modelli si addestrano su dataset Internet che spesso includono proprio i test utilizzati per valutarli.

Tale preoccupazione per la contaminazione è diventata più pressante man mano che benchmark ampiamente utilizzati come MMLU e GSM8K hanno visto i punteggi più alti concentrarsi vicino al limite massimo, riducendo la loro capacità di differenziare tra i modelli leader. Le valutazioni resistenti alla memorizzazione sono diventate scarse, rendendo i test generati programmaticamente sempre più preziosi per una valutazione onesta delle capacità.

Generando i puzzle programmaticamente e oscurando il formato di gioco, Epoch AI rimuove la rete di sicurezza del riconoscimento di pattern, costringendo i modelli a esibire autentiche capacità di ragionamento spaziale e pianificazione.

Le risposte vengono valutate utilizzando una notazione normalizzata delle mosse misurata rispetto a una chiave di risposta consolidata. I benchmark non consentono agent scaffolding, tecniche di chain-of-thought prompting o l'uso di strumenti.

Risultati di performance attuali

Nei Mystery Game Puzzles, nessun modello ha superato il 59%. I modelli open-weight si fermano al 38%, sottolineando un divario di performance notevole tra i sistemi closed-source di frontiera e le loro controparti open-weight.

I Chess Puzzle offrono un quadro leggermente più incoraggiante. GPT-5 ha registrato un punteggio del 37% quando il benchmark è stato introdotto a dicembre 2025. I rilasci successivi di modelli hanno da allora innalzato quella cifra al 54%, riflettendo un miglioramento misurabile in un lasso di tempo relativamente ristretto.

Tuttavia, anche il risultato del 54% nei Chess Puzzle sottolinea una distinzione critica: la competenza negli scacchi con accesso a strumenti basati su ricerca è fondamentalmente diversa dal ragionare attraverso posizioni sconosciute in modo indipendente. I motori scacchistici tradizionali come Stockfish raggiungono un gioco sovrumano attraverso alberi di ricerca esaustivi e funzioni di valutazione, non attraverso il tipo di ragionamento generalizzato che ci si aspetta dai modelli linguistici. Un modello che ottiene il 54% senza strumenti viene misurato rispetto a uno standard fondamentalmente diverso rispetto al gioco assistito da motore.

Nessuno dei due benchmark sembra avvicinarsi alla saturazione — una proprietà notevole in un momento in cui molte valutazioni IA consolidate non riescono più a separare in modo significativo i modelli di frontiera l'uno dall'altro.

Implicazioni più ampie

Epoch AI gestisce un hub di benchmarking più ampio che include l'Epoch Capabilities Index (ECI), che aggrega le valutazioni dei modelli in ambito matematica, programmazione e gameplay. L'ECI è strutturato per fornire stime rapide delle capacità senza dipendere da un singolo test.

Una valutazione correlata chiamata EBR-bench, basata sul gioco Earthborne Rangers, ha mostrato un miglioramento limitato dell'IA nell'apprendere da interazioni ripetute a luglio 2026. Questo risultato rafforza l'osservazione che il ragionamento interattivo rimane una sfida persistente per i sistemi di IA.

L'ascesa dal 37% al 54% nei Chess Puzzle nel corso di diversi mesi indica che il progresso continua. Tuttavia, i risultati dei mystery game suggeriscono che il ragionamento generalizzato sta avanzando a un ritmo più lento rispetto a quanto i materiali promozionali delle aziende di IA potrebbero far credere.

Il divario del 38% contro il 59% tra modelli open-weight e closed-source nei compiti che richiedono ragionamento intensivo evidenzia una disparità competitiva tangibile. Per i progetti di IA decentralizzata che dipendono da modelli aperti, questo differenziale di performance rappresenta uno svantaggio strutturale che la sola infrastruttura di calcolo aggiuntiva è improbabile che possa risolvere. Il divario solleva anche interrogativi su se lo sviluppo open-weight possa colmare il deficit di ragionamento esclusivamente attraverso miglioramenti architetturali, o se le metodologie di addestramento proprietarie e la curatela dei dati giochino un ruolo decisivo che l'attuale licenza aperta non può replicare.