OpenAI a modifié plusieurs benchmarks d'évaluation de son modèle GPT-6 Astra depuis la première publication de l'article de blog d'annonce du modèle, dans l'après-midi du 3 septembre. Dans certains cas, les chiffres mis à jour montraient Astra sous un meilleur jour, tandis que les scores des modèles d'Anthropic, le grand rival d'OpenAI, semblaient moins bons.

Ces changements sont intervenus lors d'un déploiement inhabituellement chaotique de l'article de blog. OpenAI avait initialement prévu de publier l'article à 14 h, heure de l'Est, mais il a fallu près de deux heures de plus avant qu'il ne soit largement consultable en ligne.

Lorsque le compte X d'OpenAI a partagé l'article de blog à 15 h 32, le lien ne se chargeait pas correctement et renvoyait un message d'erreur. À 15 h 50, Sam Altman, PDG d'OpenAI, a publié le lien en écrivant : « Nous avons rencontré un petit contretemps lors du déploiement de l'article de blog, mais il est vraiment excellent. » De nombreux internautes ne parvenaient toujours pas à voir la page et recevaient la même erreur, tout comme Fortune. Lorsque Fortune a revérifié environ une heure plus tard, l'article était visible et se chargeait correctement.

Il est ensuite apparu qu'OpenAI avait en réalité publié l'article peu après 14 h, avant de le retirer pour des raisons que l'entreprise a déclaré ne pas pouvoir divulguer, tout en précisant que ces raisons étaient sans rapport avec les chiffres de performance des benchmarks. (OpenAI a d'abord indiqué à Fortune qu'il s'agissait d'un bug dans le système de gestion de contenu, avant de l'attribuer à une panne d'Internet.) Lors de sa republication, l'article de blog contenait des métriques d'évaluation différentes qui semblaient favoriser Astra — et certains chiffres ont continué à changer depuis. Ces révisions sont documentées par des captures d'archives Internet, qui photographient les pages à des horodatages précis et permettent de comparer les versions antérieures d'un article aux versions ultérieures.

La révélation de ces changements survient dans un contexte de concurrence acharnée dans l'industrie de l'IA, où les entreprises publient les mises à jour de leurs grands modèles de langage à un rythme effréné, chacune tentant de prendre l'avantage sur ses rivales. L'attention portée aux métriques souligne également la difficulté de mesurer la performance des grands modèles de langage à l'aide de tests standardisés, ainsi que les craintes que ces spécifications soient sujettes à manipulation et à jeux stratégiques.

« Nous attachons une grande importance à l'exactitude des évaluations », a déclaré à Fortune un porte-parole d'OpenAI. « La plupart des évaluations présentent un bruit de quelques points de pourcentage selon le point de contrôle exact, l'échafaudage et la série d'évaluation utilisés dans le rapport. Pour notre article de lancement, nous avons apporté des corrections afin que les chiffres représentent notre meilleure estimation de la performance disponible du modèle, de sorte que les utilisateurs puissent faire des comparaisons significatives. »

Divergences entre la première et la dernière version publiée — et les chiffres continuent de changer

L'un des changements les plus notables concernait le taux d'hallucination rapporté d'Astra. Sur la première capture d'archive Internet de l'article de blog, datée de 14 h 23 (heure de l'Est), il était de 4,2 %. Il est resté à ce niveau sur plusieurs captures supplémentaires, la dernière étant la cinquième, à 15 h 11 (heure de l'Est) — environ 10 minutes avant qu'OpenAI ne twitte la version finale.

Mais le taux d'hallucination, ainsi que quatre autres métriques, a changé dans la sixième capture d'archive, prise à 17 h 20 — après que l'article de blog était vraisemblablement devenu visible pour tous. Le taux a été réduit de moitié, à 2 % pour Astra. Le score du prédécesseur d'Astra, GPT-5.6 Sol, est également passé de 12,2 % à 9,4 %. OpenAI a continué de modifier cette métrique ; au moment de la rédaction de cet article, les taux d'hallucination sont revenus à leurs valeurs initiales de 4,2 % et 12,2 %.

OpenAI semble également avoir accordé un grand coup de boost à GPT-5.6 Sol sur sa version interne du benchmark de cybersécurité ExploitBench, passant de 5,5 % dans la première version à 11,5 % dans les versions ultérieures. OpenAI a déclaré être en train d'examiner la rétrogradation de ce chiffre à 5,5 %, car, selon l'entreprise, le résultat de 11,5 % correspond à un niveau de raisonnement qui n'est pas disponible commercialement pour Sol.

Astra est particulièrement fort en mathématiques, indique OpenAI — une qualité que l'entreprise met en avant dans le premier paragraphe de la page d'annonce. Bien que cette métrique n'ait pas changé dans les captures pour Astra — elle reste à 97,6 % sur l'évaluation FrontierMath Tier 4 (v2) —, OpenAI a brièvement modifié les scores de GPT-5.6 Sol et de Fable 5.1, le dernier modèle d'Anthropic. Ces changements ont fait apparaître Astra brièvement comme nettement meilleur en mathématiques que ces deux modèles.

Sur la première capture (14 h 23, le 3 septembre), Fable 5.1 d'Anthropic obtenait 87,8 %. À 17 h 17, son score avait chuté de près de 10 points de pourcentage, à 78 %. Aujourd'hui, il est remonté à 83 %. De même, le score de GPT-5.6 Sol est passé de 83 %, à 80,5 %, avant de remonter à 83 % aujourd'hui.

Les changements de métriques ont commencé avant même la première publication de l'article de blog par OpenAI à 14 h. Un projet pré-publication sous embargo, fourni par l'entreprise à Fortune et à d'autres médias, indiquait le score d'Astra sur l'évaluation ARC-AGI-3 à 98,6 %. Dans l'article de blog en ligne, il est aujourd'hui de 99,99 %.

« Nous vérifions toujours les évaluations avant la publication, de sorte que des ajustements entre le projet et la version finale sont normaux », a alors déclaré un porte-parole de l'entreprise. OpenAI a également précisé que le créateur du benchmark, la Arc Prize Foundation, avait constaté qu'Astra atteignait 99,9 % dans son évaluation indépendante, à condition que le modèle dispose d'un harnais particulièrement puissant (un ensemble d'outils que le modèle peut utiliser pour accomplir des tâches). Avec le harnais standard du benchmark, il a atteint 63 % — restant nettement meilleur que tout autre modèle d'IA actuellement en publication publique. OpenAI a déclaré que « des éléments comme le harnais, le niveau de raisonnement et d'autres facteurs influencent les évaluations ». Cet écart entre les deux chiffres ARC-AGI-3 illustre à quel point un chiffre vedette peut dépendre de la configuration de test utilisée pour le produire.

« Benchmaxxing » — ou amélioration de l'exactitude ?

Différentes équipes de recherche d'OpenAI supervisent différentes métriques et sont responsables de les calculer et de les transmettre à une équipe centrale pour publication. OpenAI est transparente sur le fait que les chiffres sont obtenus dans les meilleures conditions possibles et peuvent légèrement différer de ceux des modèles disponibles dans le produit ChatGPT de production auquel la plupart des utilisateurs ont accès. « Les scores d'évaluation sont le maximum atteint à tout niveau d'effort », peut-on lire dans un avertissement sur l'article de blog. L'entreprise ajoute d'autres réserves sur chaque métrique en notes de bas de page.

L'exactitude est insaisissable, car plusieurs chiffres peuvent être considérés comme exacts selon les conditions dans lesquelles les tests ont été effectués. Mais certains experts de l'IA se demandent si le « benchmaxxing » n'est pas également en jeu. Il s'agit d'une pratique connue dans l'industrie de l'IA — pas seulement chez OpenAI — qui consiste à maximiser les scores en réexécutant les évaluations dans des conditions différentes.

« Cela peut être fait dans un délai très serré, et c'est meilleur pour leur marketing », ont déclaré Anka Reuel et Mike Hardy, chercheurs au Stanford Intelligent Systems Laboratory et au Stanford Trustworthy AI Lab. Ils ont également souligné que la system card du GPT-6 Astra, censée contenir des informations plus techniques sur la manière dont les évaluations ont été réalisées, ne les explique pas toujours correctement. Pour le benchmark interne d'hallucination, par exemple, la system card fournit « à peine des détails sur l'évaluation », ont-ils indiqué. « Elle n'inclut même pas le nombre d'éléments de test. »

Cette réexécution des chiffres pourrait expliquer pourquoi les capacités de codage d'Astra ont également reçu une légère amélioration dans les versions ultérieures de l'article de blog, passant de 57,7 % à 57,9 %. Bien que la différence soit négligeable, OpenAI semblait y tenir suffisamment pour insérer le nouveau chiffre amélioré.

Tous les changements effectués par OpenAI n'ont pas présenté Astra sous un jour plus favorable. Par exemple, deux scores de modèles d'Anthropic se sont améliorés dans les différentes versions de l'évaluation HealthBench Professional, consacrée à la santé : Claude Fable 5.1 est passé de 56,6 % à 58,1 %, et Opus 5 de 54,5 % à 56,4 %. Les scores des modèles d'autres entreprises d'IA sont généralement tirés de classements publiés et n'impliquent pas qu'OpenAI évalue elle-même les modèles de ses concurrents.

Les débats sur les scores d'évaluation hantent l'industrie de l'IA

La question de l'exactitude des benchmarks a déjà été soulevée à plusieurs reprises. En 2025, Meta a nié les rapports selon lesquels elle aurait artificiellement gonflé les scores de son modèle Llama 4 en publiant des résultats d'une version interne du modèle plutôt que de celle mise à disposition du public. Yann LeCun, ancien responsable scientifique de l'IA chez Meta, a admis plus tard que l'entreprise avait « trafiqué » les résultats des benchmarks. Les métriques d'évaluation changent également fréquemment, au gré de la création de nouvelles. ExploitGym, un benchmark de cybersécurité au centre de l'incident de juillet au cours duquel les modèles d'OpenAI ont dérapé et attaqué l'entreprise Hugging Face, a ainsi été créé en 2026.

Vincent Sunn Chen, ingénieur en IA qui dirige la recherche sur les benchmarks et l'évaluation chez Snorkel AI, a indiqué qu'il n'est pas rare que les scores de benchmarks changent dans les dernières heures précédant le lancement d'un modèle. « C'est généralement une fonction de la logistique finale du lancement », a-t-il écrit dans un courriel. « Un score de benchmark reflète une configuration de mesure spécifique : le point de contrôle du modèle, la configuration (y compris le temps et la puissance de calcul alloués au modèle), le harnais, la configuration d'évaluation et de notation (par exemple, le non-déterminisme du juge). Tous ces éléments évoluent généralement encore dans les derniers jours avant un lancement, je ne suis donc pas surpris qu'il y ait eu des mises à jour. » Il a déclaré souhaiter que se développent des normes industrielles obligeant les entreprises à signaler ce qui a changé dans une évaluation lorsqu'elles révisent leurs chiffres de performance, afin que les chercheurs puissent interpréter les résultats plus clairement.

Les résultats de benchmarks sont importants pour plusieurs raisons. Ils constituent le moyen pour les entreprises d'IA de mesurer leurs progrès — mais aussi de tenir le score dans la course contre leurs concurrentes. Figurer en tête de ces classements peut aider les entreprises d'IA à gagner des clients et, dans certains cas, à recruter des ingénieurs et des chercheurs. Mais comme le montre cet épisode, l'interprétation des scores de benchmarks peut être techniquement complexe, ce qui représente un défi pour les entreprises souhaitant présenter ces résultats au public sous une forme digeste. Ces complexités, combinées à la confusion autour de métriques changeantes et aux accusations portant sur un manque d'honnêteté intellectuelle dans la présentation des résultats, pourraient rendre plus difficile pour les clients et les investisseurs la détermination exacte des modèles les plus adaptés à chaque tâche. Cette confusion pourrait également brouiller le récit de disposer des meilleurs modèles du marché — un récit qu'OpenAI ne manquerait pas de vouloir présenter à l'approche d'une éventuelle introduction en bourse en 2027.

Cet article a été initialement publié sur Fortune.com.