OpenAI hat seit der Erstveröffentlichung des Ankündigungs-Blogbeitrags zum Modell GPT-6 Astra am Nachmittag des 3. September mehrere Bewertungsbenchmarks verändert. In einigen Fällen zeigten die aktualisierten Zahlen eine bessere Leistung von Astra, während die Werte von Modellen des Hauptkonkurrenten Anthropic schlechter ausfielen.

Die Änderungen erfolgten während eines ungewöhnlich holprigen Rollouts des Blogbeitrags. Ursprünglich hatte OpenAI geplant, den Beitrag um 14 Uhr ET (US-Ostküstenzeit) online zu stellen, doch es dauerte fast zwei weitere Stunden, bis er im Netz allgemein sichtbar war.

Als OpenAIs X-Konto den Blogbeitrag um 15:32 Uhr teilte, lud der Link nicht ordnungsgemäß und zeigte eine Fehlermeldung an. Um 15:50 Uhr veröffentlichte OpenAI-CEO Sam Altman den Link mit den Worten: „We hit a little snag getting the blog post deployed, but it is really great.“ Zahlreiche Kommentatoren konnten die Seite weiterhin nicht aufrufen und erhielten dieselbe Fehlermeldung – ebenso wie Fortune. Als Fortune etwa eine Stunde später erneut nachsah, war der Beitrag sichtbar und lud einwandfrei.

Später stellte sich heraus, dass OpenAI den Blog tatsächlich kurz nach 14 Uhr veröffentlicht, dann aber aus Gründen zurückgezogen hatte, die das Unternehmen nach eigener Angabe nicht offenlegen konnte – wobei es betonte, diese Gründe hätten nichts mit den Benchmark-Leistungszahlen zu tun. (OpenAI sagte Fortune zunächst, es habe sich um einen Fehler im Content-Management-System gehandelt, später um eine Internetstörung.) Bei der erneuten Veröffentlichung enthielt der Blog andere Bewertungsmetriken, die Astra offenbar begünstigten – und einzelne Zahlen haben sich seither weiter verändert. Die Überarbeitungen sind durch Schnappschüsse von Internetarchiven dokumentiert, die Seiten zu bestimmten Zeitpunkten erfassen und so frühere mit späteren Versionen eines Beitrags vergleichbar machen.

Das Bekanntwerden dieser Änderungen fällt in eine Phase erbitterten Wettbewerbs in der KI-Branche, in der Unternehmen ihre großen Sprachmodelle in rasendem Tempo aktualisieren und jeder versucht, den Rivalen einen Schritt voraus zu sein. Der Fokus auf Metriken verdeutlicht zudem, wie schwierig es ist, die Leistung großer Sprachmodelle anhand standardisierter Benchmarktests zu messen – und wie anfällig solche Vorgaben für Manipulation und Taktieren sind.

„We care deeply about getting evaluations right“, sagte ein OpenAI-Sprecher gegenüber Fortune. „Most evaluations have noise within a few percentage points based on the exact checkpoint, scaffold, and evaluation run used in reporting. For our launch blog, we made fixes to ensure the numbers represent our best estimate of available model performance, so that users can make meaningful comparisons.“

Abweichungen zwischen der ersten und der endgültigen Blogversion – und die Zahlen verändern sich weiter

Eine der auffälligsten Änderungen betraf Astras angegebene Halluzinationsrate. Im ersten Internetarchiv-Schnappschuss des Blogbeitrags von 14:23 Uhr ET lag sie bei 4,2 %. Bei dieser Zahl blieb es über mehrere weitere Schnappschüsse, der letzte davon war der fünfte um 15:11 Uhr ET – rund 10 Minuten, bevor OpenAI die finale Version auf X verbreitete.

Doch die Halluzinationsrate änderte sich – zusammen mit vier weiteren Metriken – im sechsten archivierten Schnappschuss der Seite von 17:20 Uhr, nachdem der Blog vermutlich für jedermann sichtbar war. Die Rate wurde für Astra auf 2 % halbiert. Der Wert für Astras Vorgängermodell GPT-5.6 Sol sank ebenfalls von 12,2 % auf 9,4 %. OpenAI hat diese Metrik weiterhin verändert; zum Zeitpunkt der Erstellung dieses Textes sind die Halluzinationsraten auf die ursprünglichen 4,2 % und 12,2 % zurückgestiegen.

OpenAI scheint GPT-5.6 Sol zudem auf seiner internen Version der Cybersicherheits-Bewertung ExploitBench einen großen Schub gegeben zu haben: von 5,5 % in der ersten Version auf 11,5 % in den späteren Versionen. OpenAI teilte mit, dass man derzeit prüfe, diesen Wert auf 5,5 % zurückzusetzen, da das Ergebnis von 11,5 % eine Denkebene (Reasoning Level) widerspiegele, die für Sol nicht kommerziell verfügbar sei.

Astra ist laut OpenAI besonders stark in Mathematik – eine Eigenschaft, die das Unternehmen im einleitenden Absatz der Ankündigungsseite hervorhebt. Während sich diese Metrik in den Schnappschüssen für Astra nicht änderte – sie bleibt bei 97,6 % in der FrontierMath Tier 4 (v2)-Bewertung –, veränderte OpenAI kurzzeitig die Werte für GPT-5.6 Sol und Anthropics neuestes Modell Fable 5.1. Durch diese Änderungen wirkte Astra vorübergehend deutlich stärker in Mathematik als beide andere Modelle.

Im ersten Schnappschuss (14:23 Uhr am 3. September) erreichte Anthropics Fable 5.1 87,8 %. Bis 17:17 Uhr war der Wert um fast zehn Prozentpunkte auf 78 % gefallen. Heute liegt er wieder bei 83 %. Ebenso ging der Wert von GPT-5.6 Sol von 83 % auf 80,5 % zurück und liegt heute wieder bei 83 %.

Die Änderungen der Metriken begannen sogar vor der Erstveröffentlichung des Blogs um 14 Uhr. Ein vor der Veröffentlichung unter Embargo stehender Entwurf, den das Unternehmen Fortune und anderen Medienorganisationen zur Verfügung gestellt hatte, wies für Astra auf der ARC-AGI-3-Bewertung 98,6 % aus. Im Live-Blog steht inzwischen 99,99 %.

„We always verify evals before publication so adjustments between draft and final version are normal“, erklärte ein Unternehmenssprecher damals. OpenAI wies zudem darauf hin, dass der Ersteller des Benchmarks, die Arc Prize Foundation, in ihrer unabhängigen Bewertung feststellte, dass Astra 99,9 % erreichte – sofern dem Modell ein besonders leistungsfähiges Harness (eine Reihe von Werkzeugen, die das Modell zur Aufgabenbewältigung nutzen kann) zur Verfügung gestellt wurde. Mit dem Standard-Harness des Benchmarks erreichte es 63 % – weiterhin deutlich besser als jedes andere derzeit öffentlich verfügbare KI-Modell. OpenAI erklärte: „things like harness, reasoning level and other factors inform evals.“ Diese Lücke zwischen den beiden ARC-AGI-3-Zahlen zeigt, wie stark eine Schlüsselfzahl von der Testkonfiguration abhängen kann, mit der sie ermittelt wurde.

„Benchmaxxing“ – oder Verbesserung der Genauigkeit?

Bei OpenAI betreuen verschiedene Forschungsteams verschiedene Metriken und sind für deren Berechnung und Meldung an ein zentrales Team zur Veröffentlichung verantwortlich. OpenAI ist offen darüber, dass die Zahlen unter bestmöglichen Bedingungen erzielt werden und leicht von den Modellen abweichen können, die in der ChatGPT-Produktversion verfügbar sind, auf die die meisten Nutzer zugreifen. „Evaluation scores are the maximum at any effort“, heißt es in einem Hinweis im Blog. Weitere Einschränkungen zu jeder Metrik ergänzt das Unternehmen in Fußnoten.

Genauigkeit ist schwer fassbar, denn je nach Bedingungen, unter denen die Tests liefen, können mehrere Zahlen als korrekt gelten. Manche KI-Experten fragen sich jedoch, ob auch „Benchmaxxing“ eine Rolle spielt. Dies ist eine in der KI-Branche bekannte Praxis – nicht nur bei OpenAI –, bei der Bewertungen unter unterschiedlichen Bedingungen wiederholt durchlaufen werden, um die Scores zu maximieren.

„This can be done in a very tight timeframe, and it's better for their marketing“, sagten Anka Reuel und Mike Hardy, Forscher am Stanford Intelligent Systems Laboratory und am Stanford Trustworthy AI Lab. Sie wiesen zudem darauf hin, dass die GPT-6-Astra-Systemkarte, die eigentlich mehr technische Informationen zur Durchführung der Bewertungen enthalten sollte, diese nicht immer ordnungsgemäß erläutert. Für den internen Halluzinations-Benchmark liefere die Systemkarte beispielsweise „barely any details about the evaluation“, so die Forscher. „It doesn't even include the number of test items.“

Dieses erneute Durchlaufen der Zahlen könnte erklären, warum auch Astras Programmierfähigkeiten in den späteren Versionen des Blogbeitrags einen marginalen Schub erhielten – von 57,7 % auf 57,9 %. Der Unterschied ist zwar vernachlässigbar, aber OpenAI schien ihm genug Bedeutung beizumessen, um die neue, verbesserte Zahl einzusetzen.

Nicht jede Änderung OpenAIs stellte Astra günstiger dar. So verbesserten sich etwa zwei Modellwerte von Anthropic in den verschiedenen Versionen der auf das Gesundheitswesen ausgerichteten Bewertung HealthBench Professional: Claude Fable 5.1 stieg von 56,6 % auf 58,1 % und Opus 5 von 54,5 % auf 56,4 %. Die Werte für Modelle anderer KI-Unternehmen stammen in der Regel aus veröffentlichten Bestenlisten; OpenAI führt diese Bewertungen der Konkurrenzmodelle nicht selbst durch.

Debatten über Bewertungswerte verfolgen die KI-Branche

Die Frage nach der Genauigkeit von Benchmarks tauchte in der Vergangenheit mehrfach auf. Im Jahr 2025 wies Meta Berichte zurück, wonach das Unternehmen die Werte seines Modells Llama 4 künstlich erhöht habe, indem es Ergebnisse einer internen Modellversion veröffentlichte statt der öffentlich zugänglichen. Yann LeCun, Metas ehemaliger Chef-KI-Wissenschaftler, räumte später ein, das Unternehmen habe die Benchmarkergebnisse „fudged“ (geschönt). Bewertungsmetriken ändern sich zudem häufig, da ständig neue entstehen. So wurde ExploitGym, ein Cybersicherheits-Benchmark, der im Zentrum des Juli-Zwischenfalls stand, bei dem OpenAIs Modelle außer Kontrolle gerieten und das Unternehmen Hugging Face angriffen, erst 2026 entwickelt.

Vincent Sunn Chen, KI-Ingenieur und Leiter der Benchmark- und Evaluationsforschung bei Snorkel AI, sagte, es sei nicht ungewöhnlich, dass Benchmarkwerte in den letzten Stunden vor einem Modelllaunch schwanken. „It's usually a function of final launch logistics“, sagte er per E-Mail. „A benchmark score reflects a specific measurement setup: the model checkpoint, configuration (including how much time and compute the model is allowed), harness, eval/grading configuration (e.g., non-determinism in the judge). All of those are typically still shifting in the final days before a launch, so I'm not surprised that there were some updates.“ Er würde sich wünschen, dass Branchenstandards entstehen, die Unternehmen verpflichten offenzulegen, was sich an einer Bewertung geändert hat, wenn sie Benchmark-Leistungszahlen revidieren – damit Forscher die Ergebnisse klarer einordnen können.

Benchmarkergebnisse sind aus mehreren Gründen wichtig. Sie sind das Mittel, mit dem KI-Unternehmen ihren Fortschritt messen – aber auch eine Art Punktekonto im Wettrennen gegen Konkurrenten. Spitzenplätze in den Bestenlisten können KI-Unternehmen Kunden gewinnen helfen und in manchen Fällen dabei unterstützen, Ingenieure und Forscher zu rekrutieren. Wie dieser Fall jedoch zeigt, kann die Interpretation von Benchmarkwerten technisch komplex sein – eine Herausforderung für Unternehmen, die ihre Ergebnisse der Öffentlichkeit in verdaulicher Form präsentieren wollen. Diese Komplexität, gepaart mit Verwirrung über sich ändernde Metriken und Vorwürfen, Unternehmen seien in der Darstellung ihrer Ergebnisse nicht intellektuell ehrlich gewesen, könnte es Kunden und Investoren erschweren festzustellen, welche Modelle für welche Aufgaben am besten geeignet sind. Die Verwirrung könnte auch die Erzählung trüben, die besten Modelle am Markt zu haben – eine Erzählung, die OpenAI vor einem möglichen Börsengang im Jahr 2027 zweifellos gerne präsentieren würde.

Dieser Beitrag erschien ursprünglich auf Fortune.com.