OpenAIは9月3日午後、GPT-6 Astraモデルの発表ブログ記事を初めて公開して以来、同モデルの複数の評価ベンチマークを変更してきた。更新後の数値では、Astraの性能がより良く見える一方、OpenAIの最大のライバルであるAnthropicのモデルのスコアは悪く見えるケースもあった。

この変更は、ブログ記事の異例に混乱した公開過程の中で行われた。OpenAIは当初、午後2時（東部時間）に記事を公開する予定だったが、オンラインで広く閲覧可能になるまでにさらに約2時間を要した。

午後3時32分にOpenAIのXアカウントがブログ記事を投稿した際には、リンクが正常に読み込まれず、エラーメッセージが表示された。午後3時50分には、OpenAIのサム・アルトマンCEOがリンクを投稿し、「ブログのデプロイで少し面倒があったが、中身は本当に素晴らしい」と書き込んだ。複数のコメント投稿者は依然としてページを閲覧できず、Fortuneにも同じエラーが表示された。約1時間後に確認したところ、記事は表示され正常に読み込まれていた。

その後、OpenAIが実際には午後2時過ぎにブログを公開したものの、その後取り下げていたことが判明した。会社は理由を明かせないとしながらも、ベンチマック性能数値とは無関係だと述べた。（OpenAIはまずコンテンツ管理システムのバグだとFortuneに説明し、その後インターネット障害によるものとした。）再公開されたブログには、Astraに有利と思われる異なる評価指標が含まれており、その後も一部の数値は変動し続けている。これらの改訂は、特定のタイムスタンプでページを記録するインターネットアーカイブのスナップショットによって記録されており、記事の以前のバージョンと後のバージョンを比較することを可能にしている。

こうした変更の発覚は、各社が他社を追い抜こうと猛烈なペースで大規模言語モデルの更新をリリースする、AI業界の激しい競争の最中に起きている。指標への注目は、標準化されたベンチマークテストで大規模言語モデルの性能を測定することの難しさ、そしてそのような仕様が操作や駆け引きの影響を受けやすいという懸念をも浮き彫りにしている。

「私たちは評価を正確に行うことを深く重視しています」と、OpenAIの広報担当者はFortuneに語った。「ほとんどの評価には、報告に使用されるチェックポイント、スキャフォールド、評価実行に応じて数パーセントポイントのノイズがあります。発売ブログについては、数値が利用可能なモデル性能の最良の推定値を表すよう修正を行い、ユーザーが有意義な比較を行えるようにしました」

初版と最終版のブログの相違点——そして数値は今も変化している

最も顕著な変更の一つは、Astraの報告されたハルシネーション率だった。東部時間午後2時23分のブログ記事最初のインターネットアーカイブのスナップショットでは4.2%だった。この数値はその後も数回のスナップショットで維持され、最後はOpenAIが最終版を投稿した約10分前、午後3時11分の5回目のスナップショットまで続いた。

しかし、ハルシネーション率は、他の4つの指標とともに、午後5時20分に撮影された6回目のアーカイブスナップショット——誰もがブログを閲覧できたと思われる時点の後——で変更された。Astraの率は半減して2%となった。Astraの前世代であるGPT-5.6 Solのスコアも12.2%から9.4%に低下した。OpenAIはこの指標の変更を続けており、本稿執筆時点では、ハルシネーション率は元の4.2%と12.2%に戻っている。

OpenAIはまた、サイバーセキュリティ評価ExploitBenchの内部バージョンでGPT-5.6 Solに大幅な引き上げを行ったようで、初版の5.5%から後のバージョンでは11.5%に上昇した。OpenAIは、11.5%という結果はSolでは商業的に利用できない推論レベルを反映しているため、この数値を5.5%に戻すことを現在検討していると述べた。

Astraは特に数学に強いとOpenAIは述べており、会社は発表ページの冒頭段落でこの特性を強調している。この指標はスナップショット間でAstraについては変わらなかった——FrontierMath Tier 4（v2）評価で97.6%を維持——が、OpenAIはGPT-5.6 SolとAnthropicの最新モデルFable 5.1のスコアを一時的に変更した。これらの変更により、Astraが一時的にこの2つのモデルより数学ではるかに優れているように見えた。

最初のスナップショット（9月3日午後2時23分）では、AnthropicのFable 5.1のスコアは87.8%だった。午後5時17分までに、約10パーセントポイント低下して78%となった。現在は83%に戻っている。同様に、GPT-5.6 Solのスコアは83%から80.5%に下がり、現在は83%に戻っている。

指標の変更は、OpenAIが午後2時にブログを初公開する前から始まっていた。Fortuneや他のメディア機関に提供された出版前のエンバーゴ付き草案では、AstraのARC-AGI-3評価のスコアは98.6%と記載されていた。現在の公開ブログでは99.99%となっている。

「私たちは公開前に必ず評価を検証しており、草案と最終版の間の調整は通常のことです」と、当時の会社広報担当者は述べた。OpenAIはまた、ベンチマークの作成者であるArc Prize Foundationが独立した評価で、特に強力なハーネス（モデルがタスクを遂行するために使用できるツール群）を与えた場合、Astraが99.9%の性能を示したと指摘したことも述べた。ベンチマークの標準ハーネスでは63%——それでも現在公開されている他のどのAIモデルよりも大幅に優れている——だった。OpenAIは「ハーネス、推論レベルなどの要素が評価に影響する」と述べた。この2つのARC-AGI-3数値の乖離は、注目の数字がテスト構成にどれほど大きく依存しうるかを示している。

「ベンチマックスキング」か、それとも精度向上か

OpenAIでは、異なる研究チームが異なる指標を担当し、計算して中央チームに報告し公開する責任を負っている。OpenAIは、これらの数値が可能な限り最良の条件下で達成されたものであり、ほとんどのユーザーがアクセスできる製品版ChatGPTで利用可能なモデルとはわずかに異なる可能性があることを率明にしている。「評価スコアはいかなる努力レベルでも最大値です」と、ブログの免責事項には記されている。同社は各指標に関するさらなる注意書きを脚注に含めている。

精度は捉えどころがなく、テストが実施された条件によっては複数の数値が正確と見なされうる。しかし、一部のAI専門家は「ベンチマックスキング（benchmaxxing）」も関与しているのではないかと疑問を呈している。これは、異なる条件で評価を再実行することでスコアを最大化する、OpenAIに限らないAI業界で知られた慣行である。

「これは非常に短い時間枠で行うことができ、マーケティングにも有利です」と、スタンフォードIntelligent Systems LaboratoryおよびStanford Trustworthy AI Labの研究者であるAnka Reuel氏とMike Hardy氏は述べた。彼らはまた、評価がどのように実施されたかについてのより多くの技術情報を含むはずのGPT-6 Astraのシステムカードが、必ずしも適切に説明していないことも指摘した。例えば、内部ハルシネーションベンチマークについて、システムカードは「評価に関する詳細がほとんどない」と彼らは述べた。「テスト項目の数さえ記載されていません」

この数値の再実行が、ブログ記事の後のバージョンでAstraのコーディング能力もわずかに引き上げられた（57.7%から57.9%へ）理由を説明するのかもしれない。差はわずかだが、OpenAIはその新しい改善された数値に差し替えることを気にかけていたようだった。

OpenAIが行った変更のすべてがAstraをより有利に見せたわけではない。例えば、医療分野に焦点を当てた評価HealthBench Professionalの異なるバージョンでは、Anthropicの2つのモデルのスコアが向上した。Claude Fable 5.1は56.6%から58.1%に、Opus 5は54.5%から56.4%に上昇した。他のAI企業のモデルのスコアは通常、公開されたリーダーボードから引用されており、OpenAI自身が競合モデルの評価を実施することは含まれていない。

評価スコアをめぐる議論がAI業界を悩ませる

ベンチマークの正確性をめぐる問題はこれまでも繰り返し浮上してきた。2025年、MetaはLlama 4モデルのスコアを、公開しているバージョンではなく内部バージョンの結果を公開することで人為的に引き上げたという報道を否定した。しかし、Metaの元チーフAIサイエンティストのYann LeCun氏はその後、同社がベンチマーク結果を「ごまかした」と認めた。評価指標は、新しいものが作られるにつれて頻繁に変化する。例えば、OpenAIのモデルが暴走しHugging Face社を攻撃した7月の事件の中心にあったサイバーセキュリティベンチマークExploitGymは、2026年に作成された。

Snorkel AIでベンチマーク・評価研究を率いるAIエンジニアのVincent Sunn Chen氏は、モデルの発売直前の時間帯にベンチマークスコアが変動するのは珍しくないと述べた。「それは通常、発売直前の作業上の問題の関数です」と彼はメールで述べた。「ベンチマークスコアは特定の測定セットアップを反映しています：モデルチェックポイント、設定（モデルに許可される時間と計算資源を含む）、ハーネス、評価/採点設定（例えば判定者による非決定性など）。これらはすべて通常、発売前の最終数日間でまだ変動しているので、いくつかの更新があったことに驚きはありません」彼は、企業がベンチマック性能数値を改訂した際に評価のどこが変わったかを報告する業界規範が確立され、研究者が結果をより明確に解釈できるようになることを望むと述べた。

ベンチマーク結果が重要な理由はいくつかある。それはAI企業が進捗を測る方法であると同時に、競合AI企業との競争でスコアを競う手段でもある。これらの評価のリーダーボードでトップに立つことは、AI企業が顧客を獲得する助けとなり、場合によってはエンジニアや研究者の採用にも役立つ。しかし、今回の事例が示すように、ベンチマークスコアの解釈は技術的に複雑になりうるものであり、結果を一般向けに分かりやすい形式で示したい企業にとって課題となっている。こうした複雑さに加え、変化する指標への混乱や、企業が結果の提示において知的に誠実ではなかったという非難は、顧客や投資家がどのモデルがどのタスクに最適かを正確に判断することを難しくする可能性がある。この混乱は、OpenAIが2027年の可能性があるIPOを前に示したいであろう「市場で最良のモデルを持っている」というナラティブを曇らせる可能性もある。

この記事はFortune.comに最初に掲載されたものです。