Die OpenDesign Arena bewertete DeepSeek V4.1 Flash bei praxisnahen Designaufgaben mit 81,2 von 100 Punkten und damit beinahe gleichauf mit OpenAIs GPT-6 Astra, das 82,7 Punkte erzielte. Das Modell von DeepSeek kostete pro fertigem Design $0.023, verglichen mit $1.61 bei Astra – etwa 1,4 % des Preises.

OpenDesign, das Unternehmen hinter der Benchmark-Plattform OpenDesign Arena, ließ diese Woche 13 KI-Modelle dieselbe Reihe von Designaufgaben bearbeiten. Elf Modelle erzielten ein niedrigeres Ergebnis als DeepSeek V4.1 Flash und waren im Betrieb teurer. Nur GPT-6 Astra erreichte eine höhere Punktzahl.

Die OpenDesign Arena bewertet alltägliche Designarbeit, darunter Web-Apps, Dashboards, mobile Oberflächen und Landingpages, auf einer Skala von 100 Punkten. Dreißig Punkte messen, ob ein Output die Aufgabenstellung erfüllt, während die verbleibenden 70 Punkte die Designqualität anhand von Layout, Hierarchie, Farben und der Passung zum gewünschten Stil bewerten. Der Benchmark soll eine engere Frage beantworten als allgemeine KI-Ranglisten: Welches Modell kann ein professioneller Webdesigner für praktische Arbeit einsetzen?

GPT-6 Astra erzielte durchschnittlich 82,7 Punkte, stellte jedes Design in 11,1 Minuten fertig und kostete $1.61 pro fertigem Output. DeepSeek V4.1 Flash erreichte 81,2 Punkte, benötigte 5,3 Minuten und kostete $0.023. Claude Fable 5.1 belegte mit 80,3 Punkten den dritten Platz, bei einer durchschnittlichen Bearbeitungszeit von 12,8 Minuten und Kosten von $3.66 pro Design.

Zu den weiteren getesteten Modellen gehörten Grok 4.6, Qwen 3.8-Max, Kimi K3, GLM-5.3 Flash und Gemini 3.8 Flash. Alle erzielten ein niedrigeres Ergebnis als DeepSeek V4.1 Flash und waren im Betrieb teurer. Insgesamt betraf dies 11 der 13 getesteten Modelle. GPT-6 Astra lag 1,5 Punkte vor DeepSeek.

Der technische Bericht von DeepSeek zu V4.1 Flash führt die niedrigeren Betriebskosten und die kürzeren Fertigstellungszeiten auf die Architektur des Modells zurück. Das Modell verfügt über 552 Milliarden Parameter – interne Einstellungen, die während des Trainings angepasst werden –, aktiviert jedoch nur 8 Milliarden Parameter zur Verarbeitung eines eingehenden Prompts und 16 Milliarden zur Erstellung einer Antwort. DeepSeek bezeichnet dieses Design als Causal-Encoder-Decoder-Architektur.

Das Ergebnis folgt auf weitere Bemühungen von DeepSeek, Leistungsunterschiede zu konkurrierenden Modellen zu verringern und dabei weniger zu verlangen. Wochen zuvor lag das V4-Pro-Modell des Unternehmens in einem separaten Benchmark-Vergleich innerhalb von 5 % von Claude Fable 5, während es nur einen Bruchteil von Fables Preis verlangte. DeepSeek rekrutiert außerdem Ingenieure in Peking, um ein eigenes Code Harness zu entwickeln, mit dem erklärten Ziel, den vollständigen agentischen Stack zu kontrollieren, statt nur das zugrunde liegende Modell bereitzustellen.

Die Testmethodik von OpenDesign begrenzt, was die Ergebnisse aussagen. Ein Output wird nur bewertet, wenn er zunächst als funktionierende Webseite gerendert wird. Leere, fehlerhafte oder abgeschnittene Outputs erhalten null Punkte und werden nicht erneut getestet. Der Benchmark misst daher zuverlässige Leistungen bei alltäglichen Designaufgaben und nicht allgemeine Denk- oder Programmierfähigkeiten.

OpenAI veröffentlichte GPT-6 Astra am 3. September. Das Modell gilt als Generalist, der Aufgaben wie das Entwerfen einer Leiterplatte, das Verfassen einer Steuererklärung und den Bau einer 3D-Szene bewältigen kann. Frühe Tester bezeichneten es jedoch als schwächeren Texter als das von ihm ersetzte Modell. Im OpenDesign-Benchmark war Astra langsamer und teurer als DeepSeek V4.1 Flash, blieb aber das Modell mit der höchsten Punktzahl im Feld.

Die von OpenDesign gemessene Auslieferungsrate, definiert als der Anteil der Outputs, die ohne Überarbeitung zur Übergabe bereit waren, lag bei DeepSeek V4.1 Flash bei 57,7 %, bei GPT-6 Astra bei 60 % und bei Claude Fable 5.1 bei 56,7 %. Diese Raten ergänzen die Qualitätsbewertungen des Benchmarks um eine praktische Kennzahl: Sie zeigen, wie häufig jedes Modell einen Output erzeugte, den die Bewerter ohne weitere Überarbeitung als nutzbar einstuften.

Verwandte Berichte: OpenAI veröffentlicht GPT-6 Astra, DeepSeek aktualisiert V4 Pro und DeepSeeks Pläne für Code Harness.

Quelle: Decrypt