OpenAI zmodyfikowało kilka benchmarków oceniających model GPT-6 Astra od momentu pierwszej publikacji wpisu ogłaszającego po południu 3 września. W niektórych przypadkach zaktualizowane dane pokazywały lepsze wyniki Astra, natomiast wyniki modeli głównego rywala OpenAI, firmy Anthropic, wyglądały gorzej.

Zmiany nastąpiły w trakcie nietypowo problematycznego rolloutu wpisu. OpenAI pierwotnie planowało opublikować go o godzinie 14:00 czasu wschodnioamerykańskiego (ET), ale minęły prawie dwie dodatkowe godziny, zanim stał się szeroko dostępny online.

Gdy konto OpenAI na X udostępniło wpis o 15:32, link nie wczytywał się poprawnie i zwracał komunikat o błędzie. O 15:50 dyrektor generalny OpenAI Sam Altman opublikował link, pisząc: „Napotkaliśmy drobny problem z wdrożeniem wpisu na blogu, ale jest naprawdę świetny”. Wielu komentujących nadal nie mogło zobaczyć strony i otrzymywało ten sam błąd, podobnie jak Fortune. Gdy Fortune sprawdziło stronę ponownie około godzinę później, wpis był widoczny i wczytywał się poprawnie.

Później wyszło na jaw, że OpenAI w rzeczywistości opublikowało blog krótko po godzinie 14:00, ale następnie go wycofało z powodów, których firma nie mogła ujawnić, zaznaczając jednocześnie, że nie miały one związku z danymi o wydajności benchmarkowej. (OpenAI najpierw powiedziało Fortune, że to błąd w systemie zarządzania treścią, a później przypisało sprawę awarii internetu). Po ponownej publikacji blog zawierał inne metryki oceny, które wydawały się faworyzować Astrę — a niektóre dane zmieniały się także później. Korekty są udokumentowane w migawkach archiwum internetowego, które utrwala strony w określonych momentach i umożliwiają porównanie wcześniejszych wersji wpisu z późniejszymi.

Ujawnienie tych zmian następuje w middle intensywnej konkurencji w branży AI, gdzie firmy w szalonym tempie publikują aktualizacje swoich dużych modeli językowych, a każda próbuje wyprzedzić rywali. Skupienie się na metrykach podkreśla także trudność mierzenia wydajności dużych modeli językowych za pomocą standaryzowanych testów benchmarkowych oraz obawy, że takie parametry są podatne na manipulacje i zagrywkowe działania.

„Głęboko zależy nam na prawidłowym przeprowadzaniu ocen”, powiedział rzecznik OpenAI w rozmowie z Fortune. „Większość ocen ma szum rzędu kilku punktów procentowych w zależności od dokładnego checkpointu, scaffoldu i przebiegu oceny użytych w raportowaniu. W naszym blogu premierowym dokonaliśmy poprawek, aby liczby odzwierciedlały nasz najlepszy szacunek dostępnej wydajności modelu, tak aby użytkownicy mogli dokonywać znaczących porównań”.

Rozbieżności między pierwszą a ostateczną opublikowaną wersją bloga — a liczby wciąż się zmieniają

Jedną z najbardziej znaczących zmian był raportowany wskaźnik halucynacji Astry. W pierwszej migawce bloga z archiwum internetowego, z 14:23 ET, wynosił on 4,2%. Utrzymał się na tym poziomie w kilku kolejnych migawkach, ostatnia piąta pochodziła z 15:11 ET — około 10 minut przed tym, jak OpenAI tweetowało finalną wersję.

Jednak wskaźnik halucynacji, wraz z czterema innymi metrykami, zmienił się w szóstej migawce archiwalnej, wykonanej o 17:20 — po tym, jak blog był już zapewne widoczny dla wszystkich. Dla Astry został przecięty na pół, do 2%. Wynik poprzednika Astry, modelu GPT-5.6 Sol, również spadł z 12,2% do 9,4%. OpenAI nadal zmieniało tę metrykę; w chwili pisania tego tekstu wskaźniki halucynacji wróciły do pierwotnych 4,2% i 12,2%.

OpenAI zdaje się również przyznać duży wzrost modelowi GPT-5.6 Sol w wewnętrznej wersji benchmarku bezpieczeństwa cybernetycznego ExploitBench — z 5,5% w pierwszej wersji do 11,5% w późniejszych. OpenAI powiedziało, że bada obecnie przywrócenie tej wartości do 5,5%, ponieważ wynik 11,5% odzwierciedla — według firmy — poziom rozumowania, który nie jest komercyjnie dostępny dla Sola.

Astra jest szczególnie mocna w matematyce, twierdzi OpenAI — cechę tę firma podkreśla w pierwszym akapicie strony ogłoszenia. Ta metryka nie zmieniła się w migawkach dla Astry — pozostaje 97,6% w teście FrontierMath Tier 4 (v2) — ale OpenAI przez krótki czas zmieniło wyniki modeli GPT-5.6 Sol oraz najnowszego modelu Anthropic, Fable 5.1. Te zmiany sprawiły, że Astra chwilowo wyglądała na znacznie lepszą w matematyce niż oba te modele.

W pierwszej migawce (14:23, 3 września) model Fable 5.1 od Anthropic uzyskał 87,8%. Do 17:17 spadł o prawie 10 punktów procentowych do 78%. Dziś wrócił do 83%. Podobnie wynik GPT-5.6 Sol przeszedł z 83% w dół do 80,5%, a dziś znów wynosi 83%.

Zmiany metryk zaczęły się nawet przed pierwszą publikacją bloga o 14:00. Embargowany draft przedpublikacyjny, który firma przekazała Fortune i innym organizacjom medialnym, podawał wynik Astry w teście ARC-AGI-3 jako 98,6%. W aktualnym blogu wynosi on już 99,99%.

„Zawsze weryfikujemy oceny przed publikacją, więc korekty między draftem a wersją finalną są normalne”, powiedział wówczas rzecznik firmy. OpenAI wskazało również, że twórca benchmarku, fundacja Arc Prize Foundation, ustaliła w niezależnej ocenie, że Astra osiągnęła 99,9%, pod warunkiem że model otrzymał szczególnie potężny harness (zestaw narzędzi, których model może używać do wykonywania zadań). Przy standardowym harnessie benchmarku osiągnęła 63% — wciąż znacznie lepiej niż jakikolwiek inny publicznie dostępny model AI. OpenAI oświadczyło, że „rzeczy takie jak harness, poziom rozumowania i inne czynniki wpływają na oceny”. Różnica między tymi dwiema liczbami ARC-AGI-3 pokazuje, jak bardzo nagłówkowy wynik może zależeć od konfiguracji testu, przy której go uzyskano.

„Benchmaxxing” — czy poprawa dokładności?

Różne zespoły badawcze w OpenAI nadzorują różne metryki i odpowiadają za ich obliczanie oraz raportowanie centralnemu zespołowi publikacyjnemu. OpenAI otwarcie przyznaje, że liczby uzyskiwane są w najlepszych możliwych warunkach i mogą nieznacznie odbiegać od modeli dostępnych w produkcyjnym ChatGPT, z którego korzysta większość użytkowników. „Wyniki ocen to maksimum przy dowolnym poziomie wysiłku” — głosi zastrzeżenie na blogu. Firma zamieszcza dodatkowe zastrzeżenia do każdej metryki w przypisach.

Dokładność jest nieuchwytna, ponieważ wiele liczb można uznać za dokładne w zależności od warunków, w jakich przeprowadzono testy. Niektórzy eksperci od AI zastanawiają się jednak, czy nie ma tu także „benchmaxxingu”. Jest to znana w branży AI praktyka — nie tylko w OpenAI — polegająca na maksymalizowaniu wyników przez ponowne uruchamianie ocen w zmienionych warunkach.

„Można to zrobić w bardzo krótkim czasie, a to lepsze dla ich marketingu”, powiedzieli Anka Reuel i Mike Hardy, badacze ze Stanford Intelligent Systems Laboratory i Stanford Trustworthy AI Lab. Wskazali również, że karta systemowa GPT-6 Astra, która powinna zawierać więcej informacji technicznych o tym, jak przeprowadzano oceny, nie zawsze je należycie wyjaśnia. Dla wewnętrznego benchmarku halucynacji karta systemowa dostarcza na przykład „ledwie jakichkolwiek szczegółów o ocenie”, powiedzieli. „Nie zawiera nawet liczby elementów testowych”.

Ponowne przeliczanie liczb mogłoby wyjaśniać, dlaczego możliwości kodowania Astry również otrzymały marginalny wzrost w późniejszych wersjach wpisu — z 57,7% do 57,9%. Różnica jest znikoma, ale OpenAI zdawało się dbać o nią na tyle, by podmienić liczbę na nową, ulepszoną.

Nie wszystkie zmiany dokonane przez OpenAI przedstawiały Astrę w korzystniejszym świetle. Na przykład wyniki dwóch modeli Anthropic poprawiły się w różnych wersjach nastawionego na ochronę zdrowia testu HealthBench Professional: Claude Fable 5.1 wzrósł z 56,6% do 58,1%, a Opus 5 z 54,5% do 56,4%. Wyniki modeli innych firm AI są zazwyczaj pobierane z publikowanych rankingów i nie obejmują samodzielnego przeprowadzania przez OpenAI ocen modeli rywali.

Debaty o wynikach ocen nękają branżę AI

Kwestia dokładności benchmarków pojawiała się wielokrotnie w przeszłości. W 2025 roku Meta zaprzeczyła doniesieniom, że sztucznie zawyżyła wyniki modelu Llama 4, publikując rezultaty wewnętrznej wersji modelu zamiast publicznie dostępnej. Yann LeCun, były główny naukowiec AI w Mecie, przyznał później, że firma „manipulowała” wynikami benchmarków. Metryki ocen zmieniają się też często wraz z powstawaniem nowych. Na przykład ExploitGym, benchmark bezpieczeństwa cybernetycznego w centrum lipcowego incydentu, w którym modele OpenAI wymknęły się spod kontroli i zaatakowały firmę Hugging Face, został stworzony w 2026 roku.

Vincent Sunn Chen, inżynier AI kierujący badaniami nad benchmarkami i ocenami w Snorkel AI, powiedział, że nie jest niczym niezwykłym, iż wyniki benchmarków zmieniają się w ostatnich godzinach przed premierą modelu. „To zazwyczaj kwestia finalnej logistyki premiery”, napisał w e-mailu. „Wynik benchmarku odzwierciedla konkretną konfigurację pomiaru: checkpoint modelu, konfigurację (w tym ile czasu i mocy obliczeniowej może wykorzystać model), harness, konfigurację oceny/punktacji (np. niedeterminizm sędziego). Wszystko to zazwyczaj zmienia się jeszcze w ostatnich dniach przed premierą, więc nie dziwią mnie pewne aktualizacje”. Wyraził nadzieję, że wykształcą się normy branżowe wymagające, by firmy raportowały, co się zmieniło w ocenie, gdy korygują wyniki benchmarkowe, aby badacze mogli jaśniej interpretować rezultaty.

Wyniki benchmarków mają znaczenie z kilku powodów. To sposób, w jaki firmy AI mierzą postęp — ale też sposób liczenia punktów w wyścigu z konkurentami. Szczytowanie rankingów może pomagać firmom AI zdobywać klientów, a w niektórych przypadkach zatrudniać inżynierów i badaczy. Jak jednak pokazuje ten przypadek, interpretacja wyników benchmarków bywa technicznie złożona, co stanowi wyzwanie dla firm, które chcą zaprezentować rezultaty publiczności w przystępnej formie. Ta złożoność, w połączeniu z zamieszaniem wokół zmieniających się metryk i zarzutami, że firmy nie były w pełni uczciwe intelektualnie w prezentowaniu wyników, może utrudnić klientom i inwestorom ustalenie, które modele są najlepsze do których zadań. Zamieszanie mogłoby także zamącić narrację o posiadaniu najlepszych modeli na rynku — taką, którą OpenAI niewątpliwie chciałoby przedstawić przed ewentualnym IPO w 2027 roku.

Ten artykuł pierwotnie ukazał się na Fortune.com.