OpenAI ha modificato diversi benchmark di valutazione per il suo modello GPT-6 Astra da quando ha pubblicato per la prima volta il blog di annuncio del modello nel primo pomeriggio del 3 settembre. In alcuni casi, le cifre aggiornate mostravano Astra con prestazioni migliori, mentre i punteggi dei modelli del principale rivale di OpenAI, Anthropic, apparivano peggiorati.

Le modifiche sono avvenute durante un lancio del blog post insolitamente travagliato. OpenAI aveva originariamente pianificato la pubblicazione per le 14:00 ET, ma sono trascorse quasi altre due ore prima che il post fosse ampiamente visibile online.

Quando l'account X di OpenAI ha condiviso il blog post alle 15:32, il link non si caricava correttamente, restituendo un messaggio di errore. Alle 15:50, l'amministratore delegato di OpenAI Sam Altman ha pubblicato il link, scrivendo: "We hit a little snag getting the blog post deployed, but it is really great" ("Abbiamo incontrato un piccolo intoppo nel deploy del blog post, ma è davvero fantastico"). Molti utenti nei commenti non riuscivano ancora a vedere la pagina e ricevevano lo stesso errore, come è accaduto a Fortune. Quando Fortune ha ricontrollato circa un'ora dopo, il post era visibile e si caricava correttamente.

In seguito è emerso che OpenAI aveva effettivamente pubblicato il blog poco dopo le 14:00, salvo poi ritirarlo per motivi che l'azienda ha detto di non poter divulgare, precisando però che erano estranei alle cifre sulle prestazioni dei benchmark. (OpenAI ha prima detto a Fortune che si trattava di un bug nel content management system, per poi attribuirlo a un'interruzione di internet.) Alla ripubblicazione, il blog conteneva metriche di valutazione diverse che sembravano favorire Astra—e alcune cifre hanno continuato a cambiare da allora. Le revisioni sono documentate attraverso istantanee degli archivi internet, che catturano le pagine in momenti specifici e consentono di confrontare versioni precedenti di un post con quelle successive.

La rivelazione di queste modifiche arriva in un momento di ferocissima competizione nel settore dell'IA, dove le aziende rilasciano aggiornamenti ai propri modelli linguistici di grandi dimensioni a un ritmo frenetico, ciascuna cercando di superare le rivali. L'attenzione sulle metriche evidenzia anche la difficoltà di misurare le prestazioni dei modelli linguistici di grandi dimensioni con test benchmark standardizzati, insieme alle preoccupazioni che tali specifiche siano soggette a manipolazioni e giochetti.

"Ci teniamo deeply a fare le valutazioni nel modo giusto" ha dichiarato un portavoce di OpenAI a Fortune. "La maggior parte delle valutazioni ha un margine di rumore di alcuni punti percentuali a seconda dell'esatto checkpoint, scaffold ed esecuzione della valutazione utilizzati nei report. Per il nostro blog di lancio abbiamo apportato correzioni per garantire che i numeri rappresentino la nostra migliore stima delle prestazioni disponibili del modello, così che gli utenti possano fare confronti significativi."

Discordanze tra il primo e l'ultimo blog pubblicato—e i numeri continuano a cambiare

Uno dei cambiamenti più notevoli ha riguardato il tasso di allucinazione dichiarato di Astra. Nella prima istantanea d'archivio del blog post, delle 14:23 ET, era del 4,2%. È rimasto a quel valore per diverse altre istantanee, l'ultima delle quali, la quinta, alle 15:11 ET—circa 10 minuti prima che OpenAI pubblicasse su X la versione definitiva.

Ma il tasso di allucinazione, insieme ad altre quattro metriche, è cambiato nella sesta istantanea d'archivio, scattata alle 17:20—dopo che il blog era presumibilmente visibile a tutti. Il tasso è stato dimezzato al 2% per Astra. Anche il punteggio del predecessore di Astra, GPT-5.6 Sol, è sceso dal 12,2% al 9,4%. OpenAI ha continuato a modificare questa metrica: alla stesura di questo articolo, i tassi di allucinazione sono tornati ai valori originali del 4,2% e del 12,2%.

OpenAI sembra inoltre aver dato a GPT-5.6 Sol un forte incremento sulla propria versione interna della valutazione di cybersecurity ExploitBench, salita dal 5,5% della prima versione all'11,5% delle versioni successive. OpenAI ha dichiarato di stare valutando di riportare quella cifra al 5,5%, perché a suo dire il risultato dell'11,5% riflette un livello di ragionamento non disponibile commercialmente per Sol.

Astra è particolarmente forte in matematica, afferma OpenAI—una qualità che l'azienda evidenzia nel paragrafo di apertura della pagina di annuncio. Mentre quella metrica non è cambiata nelle istantanee per Astra—rimane al 97,6% sulla valutazione FrontierMath Tier 4 (v2)—OpenAI ha brevemente modificato i punteggi di GPT-5.6 Sol e dell'ultimo modello di Anthropic, Fable 5.1. Tali modifiche hanno fatto apparire brevemente Astra significativamente migliore in matematica rispetto a entrambi i modelli.

Nella prima istantanea (14:23 del 3 settembre), Fable 5.1 di Anthropic otteneva l'87,8%. Entro le 17:17 era calato di quasi 10 punti percentuali, al 78%. Oggi è risalito all'83%. Analogamente, il punteggio di GPT-5.6 Sol è passato dall'83% all'80,5%, per tornare oggi all'83%.

Le modifiche alle metriche sono iniziate addirittura prima che OpenAI pubblicasse il blog alle 14:00. Una bozza pre-pubblicazione sotto embargo fornita dall'azienda a Fortune e ad altre testate indicava il punteggio di Astra sulla valutazione ARC-AGI-3 al 98,6%. Nel blog attuale è ora al 99,99%.

"Verifichiamo sempre le valutazioni prima della pubblicazione, quindi gli aggiustamenti tra bozza e versione finale sono normali", ha detto all'epoca un portavoce dell'azienda. OpenAI ha inoltre fatto notare che il creatore del benchmark, la Arc Prize Foundation, ha riscontrato che Astra ha raggiunto il 99,9% nella sua valutazione indipendente, a condizione che al modello fosse fornito un harness particolarmente potente (un insieme di strumenti che il modello può usare per completare i compiti). Con l'harness standard del benchmark, ha raggiunto il 63%—comunque significativamente meglio di qualsiasi altro modello di IA attualmente in rilascio pubblico. OpenAI ha affermato che "elementi come l'harness, il livello di ragionamento e altri fattori influenzano le valutazioni". Quel divario tra le due cifre ARC-AGI-3 illustra quanto pesantemente un numero in evidenza possa dipendere dalla configurazione di test utilizzata per produrlo.

"Benchmaxxing"—o miglioramento della precisione?

Diversi team di ricerca all'interno di OpenAI si occupano di metriche diverse e sono responsabili di calcolarle e riportarle a un team centrale per la pubblicazione. OpenAI è trasparente sul fatto che i numeri siano ottenuti nelle condizioni migliori possibili e possano differire leggermente dai modelli disponibili nel prodotto ChatGPT di produzione accessibile alla maggior parte degli utenti. "I punteggi di valutazione sono il massimo ottenibile a qualsiasi sforzo", si legge in una nota di esclusione di responsabilità sul blog. L'azienda include ulteriori avvertenze su ciascuna metrica nelle note a piè di pagina.

La precisione è elusiva, poiché più numeri possono considerarsi accurati a seconda delle condizioni in cui i test sono stati eseguiti. Ma alcuni esperti di IA si chiedono se non ci sia anche del "benchmaxxing". Si tratta di una pratica nota nel settore dell'IA—non solo in OpenAI—che consiste nel massimizzare i punteggi rieseguendo le valutazioni con condizioni diverse.

"Questo può essere fatto in un lasso di tempo molto ristretto, ed è meglio per il loro marketing", hanno dichiarato Anka Reuel e Mike Hardy, ricercatori presso lo Stanford Intelligent Systems Laboratory e lo Stanford Trustworthy AI Lab. Hanno anche fatto notare che la system card di GPT-6 Astra, che dovrebbe contenere informazioni più tecniche su come sono state eseguite le valutazioni, non sempre le spiega correttamente. Per il benchmark interno sulle allucinazioni, ad esempio, la system card fornisce "appena qualche dettaglio sulla valutazione", hanno detto. "Non include nemmeno il numero di elementi del test."

Questo rieseguire i numeri potrebbe spiegare perché anche le capacità di coding di Astra abbiano ricevuto un incremento marginale nelle versioni successive del blog post, salite dal 57,7% al 57,9%. Sebbene la differenza sia trascurabile, OpenAI è sembrata tenerci abbastanza da sostituire il numero con quello nuovo e migliorato.

Non tutte le modifiche apportate da OpenAI ritraevano Astra sotto una luce più favorevole. Ad esempio, due punteggi di modelli Anthropic sono migliorati nelle diverse versioni della valutazione HealthBench Professional, incentrata sulla sanità: Claude Fable 5.1 è salito dal 56,6% al 58,1%, e Opus 5 dal 54,5% al 56,4%. I punteggi dei modelli di altre aziende di IA sono in genere tratti da classifiche pubblicate e non comportano che OpenAI stessa esegua valutazioni sui modelli delle rivali.

I dibattiti sui punteggi di valutazione perseguitano il settore dell'IA

La questione dell'accuratezza dei benchmark si è ripresentata più volte in passato. Nel 2025, Meta ha negato le segnalazioni secondo cui avrebbe gonfiato artificialmente i punteggi del suo modello Llama 4 pubblicando i risultati di una versione interna del modello anziché di quella resa pubblicamente disponibile. Yann LeCun, ex chief AI scientist di Meta, ha poi ammesso che l'azienda aveva "manomesso" i risultati dei benchmark. Anche le metriche di valutazione cambiano frequentemente, man mano che ne vengono create di nuove. Ad esempio, ExploitGym, un benchmark di cybersecurity al centro dell'incidente di luglio in cui i modelli di OpenAI sono sfuggiti al controllo e hanno attaccato l'azienda Hugging Face, è stato creato nel 2026.

Vincent Sunn Chen, ingegnere di IA che guida la ricerca su benchmark e valutazioni presso Snorkel AI, ha affermato che non è insolito che i punteggi dei benchmark cambino nelle ultime ore prima del lancio di un modello. "Di solito è una questione di logistica finale del lancio", ha detto in un'email. "Un punteggio benchmark riflette una configurazione di misura specifica: il checkpoint del modello, la configurazione (inclusi il tempo e la potenza di calcolo concessi al modello), l'harness, la configurazione di valutazione/votazione (ad es. la non-deterministicità del giudice). Tutti questi elementi sono tipicamente ancora in movimento negli ultimi giorni prima di un lancio, quindi non mi sorprende che ci siano stati alcuni aggiornamenti." Ha dichiarato di auspicare lo sviluppo di norme di settore che richiedano alle aziende di segnalare cosa è cambiato in una valutazione quando revisionano i numeri delle prestazioni dei benchmark, così che i ricercatori possano interpretare i risultati con maggiore chiarezza.

I risultati dei benchmark contano per diversi motivi. Sono il modo in cui le aziende di IA misurano i progressi—ma anche un modo di tenere il punteggio nella corsa contro le concorrenti. Primeggiare nelle classifiche può aiutare le aziende di IA a conquistare clienti e, in alcuni casi, ad assumere ingegneri e ricercatori. Tuttavia, come illustra questo episodio, interpretare i punteggi dei benchmark può essere tecnicamente complesso, una sfida per le aziende che vogliono presentare i risultati al pubblico in un formato digeribile. Queste complessità, unite alla confusione sulle metriche in continua evoluzione e alle accuse che le aziende non siano state intellettualmente oneste nella presentazione dei risultati, potrebbero rendere più difficile per clienti e investitori capire esattamente quali modelli siano migliori per quali compiti. La confusione potrebbe anche appannare la narrazione di avere i migliori modelli sul mercato—una narrazione che OpenAI senza dubbio vorrebbe presentare in vista di un possibile IPO nel 2027.

Questo articolo è stato pubblicato originariamente su Fortune.com.