Epoch AI, ein gemeinnütziges Forschungsinstitut, hat zwei spielerische Evaluationswerkzeuge eingeführt – Mystery Game Puzzles und Chess Puzzles –, die darauf abzielen, die Reasoning-Fähigkeiten führender KI-Modelle rigoros zu testen. Die anfänglichen Ergebnisse zeigen erhebliche Grenzen darin, wie gut heutige KI-Systeme mit neuartigen Problemlösungsszenarien umgehen – ein Resultat, das zu einem Zeitpunkt kommt, da mehrere Frontier-Labs ihre neuesten Modelle zunehmend mit Verweis auf Reasoning- und Planungskompetenz vermarkten.

Das herausragende Ergebnis: Die höchste auf dem Mystery Game Puzzles-Benchmark erreichte Punktzahl liegt bei nur 59 %, während Open-Weight-Modelle nicht über 38 % hinauskommen.

Funktionsweise der Benchmarks

Jeder Benchmark besteht aus 100 programmgesteuert generierten Rätseln. Die Chess Puzzles folgen einem relativ konventionellen Format – bei einer gegebenen Brettstellung muss das Modell den besten Zug identifizieren.

Die Mystery Game Puzzles verfolgen einen grundlegend anderen Ansatz. In dieser Variante wird der KI nicht mitgeteilt, welches Spiel sie spielt. Die Identität des Spiels wird bewusst verschleiert, wodurch jede Rückkehr auf auswendig gelernte Muster oder Trainingsdaten-Abkürzungen ausgeschlossen wird. Dieses Design greift direkt ein Problem auf, das Epoch AI als Kontaminationsproblem traditioneller KI-Benchmarks identifiziert – Modelle trainieren häufig mit Internet-Datensätzen, die eben jene Tests enthalten, mit denen sie evaluiert werden.

Diese Kontaminationssorge ist drängender geworden, da weit verbreitete Benchmarks wie MMLU und GSM8K eine Clusterung der Top-Ergebnisse nahe der Obergrenze aufweisen, was ihre Fähigkeit einschränkt, zwischen führenden Modellen zu differenzieren. Evaluationen, die Auswendiglernen widerstehen, sind selten geworden, wodurch programmgesteuert generierte Tests zunehmend wertvoll für eine ehrliche Fähigkeitsbewertung werden.

Indem Epoch AI Rätsel programmgesteuert generiert und das Spielformat verschleiert, wird das Auffangnetz der Mustererkennung entfernt und die Modelle gezwungen, authentische räumliche Schlussfolgerung und Planungsfähigkeiten zu zeigen.

Die Antworten werden anhand normalisierter Zugnotation bewertet, gemessen gegen einen etablierten Lösungsschlüssel. Die Benchmarks erlauben kein Agent-Scaffolding, keine Chain-of-Thought-Prompting-Techniken und keine Werkzeugnutzung.

Aktuelle Leistungsergebnisse

Bei den Mystery Game Puzzles hat kein Modell mehr als 59 % erreicht. Open-Weight-Modelle plateauieren bei 38 %, was eine deutliche Leistungslücke zwischen führenden Closed-Source-Systemen und ihren Open-Weight-Pendants unterstreicht.

Die Chess Puzzles zeigen ein etwas ermutigenderes Bild. GPT-5 erzielte bei der Einführung des Benchmarks im Dezember 2025 eine Punktzahl von 37 %. Nachfolgende Modellveröffentlichungen haben diesen Wert inzwischen auf 54 % gesteigert, was eine messbare Verbesserung innerhalb eines relativ komprimierten Zeitraums widerspiegelt.

Das Chess-Puzzle-Ergebnis von 54 % unterstreicht jedoch eine entscheidende Unterscheidung: Spielstärke beim Schach mit Zugang zu suchbasierten Werkzeugen unterscheidet sich grundlegend vom eigenständigen Reasoning durch unbekannte Stellungen. Traditionelle Schach-Engines wie Stockfish erreichen übermenschliches Spiel durch erschöpfende Suchbäume und Evaluationsfunktionen – nicht durch die Art von generalisiertem Reasoning, das von Sprachmodellen erwartet wird. Ein Modell, das ohne Werkzeuge 54 % erzielt, wird an einem grundlegend anderen Standard gemessen als engine-gestütztes Spiel.

Keiner der Benchmarks scheint sich der Sättigung zu nähern – eine bemerkenswerte Eigenschaft zu einer Zeit, in der viele etablierte KI-Evaluationen führende Modelle nicht mehr sinnvoll voneinander unterscheiden können.

Weiterreichende Implikationen

Epoch AI betreibt eine breitere Benchmarking-Plattform, die den Epoch Capabilities Index (ECI) umfasst, der Modellbewertungen aus den Bereichen Mathematik, Programmierung und Spielablauf aggregiert. Der ECI ist so strukturiert, dass er schnelle Fähigkeitsschätzungen liefert, ohne von einem einzelnen Test abzuhängen.

Eine verwandte Evaluation namens EBR-bench, basierend auf dem Spiel Earthborne Rangers, zeigte bis Juli 2026 nur begrenzte KI-Verbesserungen beim Lernen aus wiederholten Interaktionen. Dieses Ergebnis verstärkt die Beobachtung, dass interaktives Reasoning eine hartnäckige Herausforderung für KI-Systeme bleibt.

Der Anstieg von 37 % auf 54 % bei den Chess Puzzles über mehrere Monate hinweg zeigt, dass der Fortschritt andauert. Dennoch legen die Mystery-Game-Ergebnisse nahe, dass generalisiertes Reasoning in einem langsameren Tempo vorankommt, als Werbematerialien von KI-Unternehmen suggerieren könnten.

Die Lücke von 38 % gegenüber 59 % zwischen Open-Weight- und Closed-Source-Modellen bei reasoning-intensiven Aufgaben hebt eine greifbare wettbewerbliche Disparität hervor. Für dezentrale KI-Projekte, die auf offene Modelle angewiesen sind, stellt diese Leistungsdifferenz einen strukturellen Nachteil dar, der durch zusätzliche Recheninfrastruktur allein kaum behoben werden dürfte. Die Lücke wirft auch die Frage auf, ob die Open-Weight-Entwicklung das Reasoning-Defizit allein durch Architekturverbesserungen schließen kann oder ob proprietäre Trainingsmethoden und Datenkuratierung eine entscheidende Rolle spielen, die aktuelle offene Lizenzierung nicht reproduzieren kann.