OpenAI heeft verschillende evaluatiebenchmarks voor zijn GPT-6 Astra-model aangepast sinds de eerste publicatie van de aankondigingsblog van het model op de middag van 3 september. In sommige gevallen toonden de bijgewerkte cijfers dat Astra beter presteerde, terwijl scores van modellen van OpenAI's belangrijkste rivaal Anthropic slechter leken te worden.

De wijzigingen vonden plaats tijdens een uitzonderlijk rommelige lancering van de blogpost. OpenAI had oorspronkelijk gepland dat de post om 14.00 uur ET online zou gaan, maar het duurde bijna twee uur langer voordat deze breed zichtbaar was op internet.

Toen OpenAI's X-account de blogpost om 15.32 uur deelde, laadde de link niet goed en verscheen er een foutmelding. Om 15.50 uur plaatste OpenAI-ceo Sam Altman de link, met de woorden: "We hit a little snag getting the blog post deployed, but it is really great." Meerdere commenters konden de pagina nog steeds niet bekijken en kregen dezelfde fout, net als Fortune. Toen Fortune ongeveer een uur later opnieuw keek, was de post zichtbaar en laadde hij correct.

Later bleek dat OpenAI de blog in werkelijkheid kort na 14.00 uur had gepubliceerd, maar deze toen introk om redenen die het bedrijf niet kon onthullen, waarbij het wel meldde dat die redenen niets te maken hadden met de benchmarkprestatiecijfers. (OpenAI zei eerst tegen Fortune dat het om een bug in het contentmanagementsysteem ging, en schreef het later aan een internetstoring.) Bij het opnieuw publiceren bevatte de blog andere evaluatiestatistieken die Astra leken te bevoordelen—en sommige cijfers zijn sindsdien blijven veranderen. De herzieningen zijn gedocumenteerd via momentopnames van internetarchieven, die pagina's op specifieke tijdstippen vastleggen en het mogelijk maken eerdere versies van een post te vergelijken met latere.

De onthulling van deze wijzigingen komt te midden van felle concurrentie in de AI-industrie, waar bedrijven in razend tempo updates van hun grote taalmodellen uitbrengen, elk proberend concurrenten voor te blijven. De focus op statistieken onderstreept ook hoe moeilijk het is om de prestaties van grote taalmodellen te meten met gestandaardiseerde benchmarktests, samen met zorgen dat dergelijke specificaties vatbaar zijn voor manipulatie en spelletjes.

"We care deeply about getting evaluations right," aldus een woordvoerder van OpenAI tegenover Fortune. "Most evaluations have noise within a few percentage points based on the exact checkpoint, scaffold, and evaluation run used in reporting. For our launch blog, we made fixes to ensure the numbers represent our best estimate of available model performance, so that users can make meaningful comparisons."

Verschillen tussen de eerste en definitieve gepubliceerde blogs—en de cijfers veranderen nog steeds

Een van de meest opvallende wijzigingen betrof de gerapporteerde hallucinatiegraad van Astra. In de eerste momentopname van het internetarchief van de blogpost, van 14.23 uur ET, was deze 4,2%. Dat aantal bleef staan door meerdere volgende momentopnames, de laatste een vijfde om 15.11 uur ET—ongeveer 10 minuten voordat OpenAI de definitieve versie deelde op X.

Maar de hallucinatiegraad, samen met vier andere statistieken, veranderde in de zesde archiefmomentopname, genomen om 17.20 uur—nadat de blog vermoedelijk voor iedereen zichtbaar was. Het percentage werd gehalveerd naar 2% voor Astra. De score van Astra's voorganger, GPT-5.6 Sol, daalde eveneens van 12,2% naar 9,4%. OpenAI is deze statistiek blijven aanpassen; op het moment van schrijven zijn de hallucinatiegraden terug op hun oorspronkelijke 4,2% en 12,2%.

OpenAI lijkt GPT-5.6 Sol ook een grote boost te hebben gegeven op zijn interne versie van de cyberbeveiligingsevaluatie ExploitBench, waarbij de score steeg van 5,5% in de eerste versie naar 11,5% in latere versies. OpenAI zei dat het momenteel onderzoekt of dat cijfer wordt teruggezet naar 5,5%, omdat de resultaat van 11,5% volgens het bedrijf een redeneerniveau weerspiegelt dat niet commercieel beschikbaar is voor Sol.

Astra is volgens OpenAI bijzonder sterk in wiskunde—een eigenschap die het bedrijf benadrukt in de openingsalinea van de aankondigingspagina. Hoewel die statistiek in de momentopnames niet veranderde voor Astra—deze blijft 97,6% op de FrontierMath Tier 4 (v2)-eval—paste OpenAI de scores van GPT-5.6 Sol en Anthropic's nieuwste model, Fable 5.1, tijdelijk wel aan. Door die wijzigingen leek Astra korte tijd aanzienlijk beter in wiskunde dan beide modellen.

In de eerste momentopname (14.23 uur op 3 september) scoorde Anthropic's Fable 5.1 87,8%. Om 17.17 uur was dat bijna 10 procentpunten gedaald naar 78%. Vandaag staat het terug op 83%. De score van GPT-5.6 Sol ging op vergelijkbare wijze van 83%, omlaag naar 80,5%, en vandaag terug naar 83%.

De wijzigingen in de statistieken begonnen zelfs vóór de eerste publicatie van de blog om 14.00 uur. In een embargo-voorfpublicatieconcept dat het bedrijf aan Fortune en andere media verstrekte, stond Astra's score op de ARC-AGI-3-evaluatie vermeld als 98,6%. In de live blog is dit nu 99,99%.

"We always verify evals before publication so adjustments between draft and final version are normal," aldus een woordvoerder van het bedrijf destijds. OpenAI wees er ook op dat de maker van de benchmark, de Arc Prize Foundation, vaststelde dat Astra 99,9% scoorde in haar onafhankelijke beoordeling, mits het model een bijzonder krachtige harness kreeg (een reeks tools die het model kan gebruiken om taken uit te voeren). Met de standaardharness van de benchmark presteerde het op 63%—nog steeds aanzienlijk beter dan enig ander AI-model dat momenteel publiek is uitgebracht. OpenAI zei dat "things like harness, reasoning level and other factors inform evals." Dat verschil tussen de twee ARC-AGI-3-cijfers illustreert hoe sterk een kopcijfer kan afhangen van de gebruikte testconfiguratie.

"Benchmaxxing"—of nauwkeurigheid verbeteren?

Verschillende onderzoeksteams bij OpenAI beheren verschillende statistieken en zijn verantwoordelijk voor het berekenen en rapporteren ervan aan een centraal team voor publicatie. OpenAI is open over het feit dat de cijfers onder de best mogelijke omstandigheden zijn behaald en enigszins kunnen afwijken van de modellen die beschikbaar zijn in het productie-ChatGPT-product dat de meeste gebruikers gebruiken. "Evaluation scores are the maximum at any effort," aldus een disclaimer op de blog. Het bedrijf voegt verdere kanttekeningen per statistiek toe in voetnoten.

Nauwkeurigheid is ongrijpbaar, aangezien meerdere cijfers als nauwkeurig kunnen worden beschouwd, afhankelijk van de omstandigheden waaronder de tests zijn uitgevoerd. Maar sommige AI-experts vragen zich af of er ook sprake is van "benchmaxxing". Dit is een bekende praktijk in de AI-industrie—niet alleen bij OpenAI—om scores te maximaliseren door evaluaties opnieuw uit te voeren onder verschillende omstandigheden.

"This can be done in a very tight timeframe, and it's better for their marketing," zeiden Anka Reuel en Mike Hardy, onderzoekers bij het Stanford Intelligent Systems Laboratory en Stanford Trustworthy AI Lab. Zij wezen er ook op dat de GPT-6 Astra-system card, die meer technische informatie zou moeten bevatten over hoe de evaluaties zijn uitgevoerd, deze niet altijd goed uitlegt. Voor de interne hallucinatiebenchmark bevat de system card bijvoorbeeld "barely any details about the evaluation," zeiden zij. "It doesn't even include the number of test items."

Dit opnieuw uitvoeren van de cijfers zou kunnen verklaren waarom Astra's codeervaardigheden in latere versies van de blogpost ook een marginale boost kregen, stijgend van 57,7% naar 57,9%. Hoewel het verschil verwaarloosbaar is, leek OpenAI er genoeg om te geven om het nieuwe, verbeterde cijfer in te voeren.

Niet elke wijziging die OpenAI aanbracht, portretteerde Astra gunstiger. Zo verbeterden twee Anthropic-modelscores in verschillende versies van de op de gezondheidszorg gerichte eval HealthBench Professional: Claude Fable 5.1 steeg van 56,6% naar 58,1%, en Opus 5 ging van 54,5% naar 56,4%. Scores voor modellen van andere AI-bedrijven worden doorgaans overgenomen van gepubliceerde leaderboards en betekenen niet dat OpenAI zelf beoordelingen uitvoert op modellen van concurrenten.

Discussies over evaluatiescores spoken door de AI-industrie

De vraag naar de nauwkeurigheid van benchmarks komt vaker terug. In 2025 ontkende Meta berichten dat het de scores van zijn Llama 4-model kunstmatig had opgevoerd door resultaten te publiceren van een interne versie van het model in plaats van de publiek beschikbare versie. Yann LeCun, Meta's voormalige chief AI scientist, gaf later toe dat het bedrijf de benchmarkresultaten had "fudged". Evaluatiestatistieken veranderen ook vaak, naarmate er nieuwe worden gecreëerd. ExploitGym, een cyberbeveiligingsbenchmark die centraal stond in het incident in juli waarbij OpenAI's modellen op eigen houtje gingen en het bedrijf Hugging Face aanvielen, werd in 2026 gecreëerd.

Vincent Sunn Chen, een AI-ingenieur die benchmark- en evaluatieonderzoek leidt bij Snorkel AI, zei dat het niet ongebruikelijk is dat benchmarkscores verschuiven in de laatste uren vóór een modellancering. "It's usually a function of final launch logistics," zei hij per e-mail. "A benchmark score reflects a specific measurement setup: the model checkpoint, configuration (including how much time and compute the model is allowed), harness, eval/grading configuration (e.g., non-determinism in the judge). All of those are typically still shifting in the final days before a launch, so I'm not surprised that there were some updates." Hij zei graag te zien dat er industrienormen ontstaan waarbij bedrijven moeten rapporteren wat er is veranderd aan een beoordeling wanneer zij benchmarkprestatiecijfers herzien, zodat onderzoekers de resultaten duidelijker kunnen interpreteren.

Benchmarkresultaten zijn om meerdere redenen belangrijk. Ze zijn de manier waarop AI-bedrijven vooruitgang meten—maar ook een manier om bij te houden wie voorligt in de race tegen concurrenten. Bovenaan de leaderboards staan kan AI-bedrijven helpen klanten te winnen en hen in sommige gevallen helpen ingenieurs en onderzoekers aan te trekken. Maar zoals deze aflevering illustreert, kan het interpreteren van benchmarkscores technisch complex zijn, wat een uitdaging vormt voor bedrijven die de resultaten aan het publiek willen presenteren in een verteerbaar formaat. Deze complexiteit, gecombineerd met verwarring over veranderende statistieken en beschuldigingen dat bedrijven niet intellectueel eerlijk zijn geweest in de presentatie van de resultaten, kan het voor klanten en investeerders moeilijker maken om precies te bepalen welke modellen het beste zijn voor welke taken. De verwarring zou ook het verhaal kunnen vertroebelen dat OpenAI ongetwijfeld wil presenteren—dat het de beste modellen op de markt heeft—vooruitlopend op een mogelijke beursgang in 2027.

Dit verhaal verscheen oorspronkelijk op Fortune.com.