DeepSeek V4.1 Flash、GPT-6 Astraのデザイン性能にほぼ匹敵—コストは1.4%
重要ポイント
- •DeepSeek V4.1 Flashは81.2点を獲得し、首位のGPT-6 Astraの82.7点にわずか1.5点差まで迫った。
- •DeepSeekの完成したデザイン1件あたりの平均コストは$0.023で、Astraの$1.61、Claude Fable 5.1の$3.66を大きく下回った。
- •DeepSeekのデザイン完成時間は平均5.3分で、Astraの11.1分、Fableの12.8分より短かった。
- •ベンチマークでは実用的なデザイン出力を13モデルでテストし、そのうち11モデルがDeepSeekを下回り、運用コストも高かった。
- •納品率はDeepSeekが57.7%、Astraが60%、Fableが56.7%で、修正なしで引き渡せると判断された出力の割合を示している。
OpenDesign Arenaは、実世界のデザイン作業においてDeepSeek V4.1 Flashを100点満点中81.2点と評価し、82.7点を獲得したOpenAIのGPT-6 Astraにほぼ匹敵する結果となった。DeepSeekのモデルは完成したデザイン1件あたり$0.023で、Astraの$1.61と比べて約1.4%のコストだった。
OpenDesign Arenaのベンチマークサイトを運営するOpenDesignは今週、同じ一連のデザイン作業を13種類のAIモデルに実行させた。11モデルはDeepSeek V4.1 Flashを下回り、運用コストも高かった。より高いスコアを獲得したのはGPT-6 Astraだけだった。
OpenDesign Arenaは、ウェブアプリ、ダッシュボード、モバイル画面、ランディングページなど、日常的なデザイン作業を100点満点で評価する。30点は出力が作業指示を満たしているかを測定し、残りの70点はレイアウト、階層構造、色、指定されたスタイルとの適合性など、デザインの品質を評価する。このベンチマークは、汎用AIのランキングが問うものよりも狭い問題、つまり実務に携わるウェブデザイナーが実際の作業に使えるモデルはどれか、という点を対象としている。
GPT-6 Astraは平均82.7点で、デザイン1件の完成に11.1分、完成した出力1件あたり$1.61を要した。DeepSeek V4.1 Flashは81.2点で、所要時間は5.3分、コストは$0.023だった。Claude Fable 5.1は80.3点で3位となり、平均完成時間は12.8分、デザイン1件あたりのコストは$3.66だった。
テスト対象には、Grok 4.6、Qwen 3.8-Max、Kimi K3、GLM-5.3 Flash、Gemini 3.8 Flashなども含まれていた。これらはいずれもDeepSeek V4.1 Flashを下回り、運用コストも高かった。全体では、テストした13モデルのうち11モデルがこの条件に該当する。GPT-6 AstraがDeepSeekのスコアを上回った差は1.5点だった。
DeepSeekのV4.1 Flashに関する技術報告書は、同モデルの低い運用コストと短い完成時間の理由として、そのアーキテクチャを挙げている。モデルは5520億個のパラメータ（学習中に調整される内部設定）を持つが、入力されたプロンプトを処理する際に有効化するのは80億個、回答を生成する際に有効化するのは160億個にとどまる。DeepSeekはこの設計をCausal Encoder-Decoderアーキテクチャと呼んでいる。
この結果は、競合モデルより低い料金で性能差を縮めようとするDeepSeekの取り組みに続くものだ。数週間前には、同社のV4 Proが別のベンチマーク比較でClaude Fable 5に5%以内まで迫った一方、料金はFableの一部にとどまった。DeepSeekはまた、基盤モデルを提供するだけでなく、エージェント関連のスタック全体を自社で管理することを目指し、北京で独自のCode Harnessを開発するエンジニアを採用している。
OpenDesignのテスト手法には、結果から証明できることを限定する要素がある。出力は、最初に動作するウェブページとしてレンダリングされた場合にのみ採点される。空白、破損、または途中で切れた出力は0点となり、再テストされない。そのため、このベンチマークが測定するのは、一般的な推論能力やコーディング能力ではなく、日常的なデザイン作業で安定した成果を出せるかどうかである。
OpenAIは9月3日にGPT-6 Astraをリリースした。同モデルは、回路基板のレイアウト、確定申告書の作成、3Dシーンの構築など、さまざまな作業に対応できる汎用モデルと説明されているが、初期のテスターからは、置き換えられた旧モデルより文章作成能力が低いとの指摘も出ている。OpenDesignのベンチマークでは、AstraはDeepSeek V4.1 Flashより遅く、コストも高かったが、対象モデルの中で最高スコアを維持した。
OpenDesignの納品率（修正なしで引き渡せる状態と判断された出力の割合）は、DeepSeek V4.1 Flashが57.7%、GPT-6 Astraが60%、Claude Fable 5.1が56.7%だった。これらの数値はベンチマークの品質スコアに実用面の指標を加えるもので、各モデルが評価者によって追加修正なしで使用可能と判断される出力を、どの程度の頻度で生成したかを示している。
関連報道: OpenAIがGPT-6 Astraをリリース、DeepSeekがV4 Proをアップグレード、DeepSeekのCode Harness計画。
出典: Decrypt
