Anthropics Claude Opus 5 ist zum leistungsstärksten Modell bei ARC-AGI-3 geworden, einem Benchmark, der testen soll, ob KI-Systeme unbekannte Aufgaben lösen können, statt sich auf gespeichertes Wissen oder Muster zu stützen, die sie im Training gesehen haben.

Laut ARC Prize erzielte Claude Opus 5 bei ARC-AGI-3 30,2 Prozent, fast viermal so viel wie der bisherige Rekord von 7,8 Prozent, den OpenAIs GPT-5.6 Sol (Max) aufgestellt hatte. Das Ergebnis platziert Opus 5 außerdem vor Anthropics Modellen der "Fable-class", die laut ARC Prize rund 20 Prozent erreichten.

Opus 5 löste fünf Umgebungen, die zuvor nicht gelöst worden waren, darunter vier auf oder über menschlichem Niveau. Sechs der 25 öffentlichen Demo-Umgebungen sind nun gelöst. ARC Prize hat die vollständigen Ergebnisse, die Scorecard und den Benchmarking-Code öffentlich verfügbar gemacht.

Die Analyse von ARC Prize führt den Vorsprung von Opus 5 auf stärkeres logisches Schlussfolgern zurück, "which enables more autonomous exploration, planning, and execution across unfamiliar environments." Während der Tests beobachteten Forschende zudem Verhaltensweisen, die ihren Angaben zufolge zuvor bei keinem KI-Modell aufgetreten waren, darunter die Übersetzung von Aufgaben in algebraische Notation und die eigenständige Formulierung von Reflexionsgleichungen.

Auf älteren Versionen des Benchmarks erreichte Opus 5 90,4 Prozent bei ARC-AGI-2 und 97,5 Prozent bei ARC-AGI-1. ARC Prize sagte, beide Werte entsprächen den bisherigen Spitzenergebnissen, wenn auch zu etwas höheren Kosten.

ARC-AGI-3 konzentriert sich auf unbekannte interaktive Aufgaben

ARC-AGI-3 misst, wie gut KI-Modelle neue Aufgaben bewältigen, denen sie im Training nicht begegnet sind, einschließlich Aufgaben, die Menschen in der Regel mit wenig Mühe lösen können. Die aktuelle Version ist wie ein Spiel aufgebaut: Das Modell muss die Regeln einer interaktiven Umgebung ableiten, Handlungen planen und diese Schritt für Schritt ausführen.

Der Benchmark soll allgemeines Schlussfolgern statt auswendig gelerntes Wissen testen. ARC Prize unterscheidet zwischen der eigenständigen Leistung eines Modells und Systemen, die zusätzliche Software verwenden, einen sogenannten Harness. Einige KI-Systeme könnten den Benchmark mit solcher externer Unterstützung bereits bestanden haben, doch offizielle Punktzahlen berücksichtigen nur die Leistung des Sprachmodells selbst. ARC Prize argumentiert, dass künftige AGI-Systeme keine externe Hilfe benötigen sollten, um neue Aufgaben zu lösen. Der Artikel weist darauf hin, dass Opus 5 bei Verwendung innerhalb von Claude Code wahrscheinlich eine höhere Punktzahl erzielen würde.

Diese Unterscheidung ist wichtig für den Vergleich von Benchmark-Aussagen, weil ein unterstütztes System ein Sprachmodell mit Werkzeugen, Scaffolding oder anderer Ausführungsunterstützung kombinieren kann, während die offizielle Rangliste von ARC-AGI-3 die eigene Fähigkeit des Modells isolieren soll, neue Umgebungen zu erkunden und zu lösen.

Unabhängige Tests deuten auf begrenztere Fortschritte hin

Anthropic hat die Verbesserung nicht erklärt. Der Quellartikel nennt gezielte Datenbeschriftung und Reinforcement Learning als plausible Faktoren und weist zugleich darauf hin, dass Opus 5 entwickelt wurde, nachdem ARC-AGI-3 und dessen Format öffentlich geworden waren. Dieser Zeitpunkt könnte es Anthropic ermöglicht haben, sich auf die Fähigkeiten und Rätselformate des Benchmarks zu konzentrieren, belegt aber nicht, dass das Unternehmen mit den exakten Aufgaben trainiert hat.

Annotatoren könnten Schlussfolgerungsspuren, nützliche Aktionen, gescheiterte Versuche und Wiederherstellungsschritte aus ähnlichen Rätseln beschriftet haben. Reinforcement Learning könnte dann Exploration, Planung, Regelerkennung und Selbstkorrektur belohnen.

Tests auf Witness, Guanghan Nings privatem Benchmark für interaktive Puzzlespiele, deuten auf begrenztere Zugewinne hin. Opus 5 erzielte 43,4 und lag statistisch gleichauf mit Kimi K3 und Fable 5, während es sich gegenüber Opus 4.8 deutlich weniger verbesserte als bei ARC-AGI-3. In diesen Tests erkannte Opus 5 die verborgenen Regeln eines konventionellen Rätsels, bevor es eine Handlung ausführte, blieb bei einem Spiel mit weniger vertrauter Mechanik jedoch hinter Opus 4.8 zurück.

Ning sagte, dieses Muster passe zu einem Training mit genrespezifischen Daten, auch wenn Witness nicht feststellen könne, welche Daten Anthropic verwendet hat. Seine Kommentare wurden auf X unter https://x.com/quietnning/status/2080786711861407883 veröffentlicht.

Greg Kamradt, einer der Forschenden hinter ARC-AGI-3, sagte, die Ergebnisse schlössen breitere Fortschritte beim Schlussfolgern nicht aus. Ein Spiel, das auf vertrauten Mechaniken beruht, teste keine Anpassung an Neuartigkeit, und ein einzelnes schwaches Ergebnis wiege ohne detaillierte Punktzahlen für diese Aufgabe nicht die gesamte Verbesserung des Modells auf. Kamradts Kommentare wurden auf X unter https://x.com/GregKamradt/status/2081031602596200614 veröffentlicht.

Witness wurde ebenfalls rund um Rätsel im Stil von ARC-AGI-3 entwickelt, sodass eine stärkere Leistung echte Übertragung statt Auswendiglernen widerspiegeln könnte. Ning stellte später klar, dass Opus 5 auf Witness generalisierte, aber deutlich weniger als auf ARC-AGI-3. Er verglich den Prozess mit der Entwicklung von Coding-Benchmarks und sagte, dass ARC-AGI-3 als wichtiges Ziel für interaktives Schlussfolgern wahrscheinlich zuerst den größten Trainingsaufwand auf sich ziehen werde.

Ning sagte, die Abdeckung weiterer Grenzfälle könne Modellen anschließend helfen, auf ein breiteres Spektrum abstrakter Schlussfolgerungsaufgaben zu generalisieren. Er verglich das Muster mit dem Programmieren, das sich von gesättigten Benchmarks wie HumanEval hin zu häufig aktualisierten Wettbewerben und heutigen Coding-Agenten entwickelt habe. Seine spätere Klarstellung wurde unter https://x.com/quietnning/status/2081073990614061084 veröffentlicht.