KI-Agenten lösen 49 von 50 unveröffentlichten Physikproblemen in DeepMind-gestützter Studie
Wichtige Erkenntnisse
- •GPT-6-Astra löste 49 von 50 unveröffentlichten theoretischen Physikproblemen auf Forschungsniveau ohne menschliche Eingriffe und erzielte im webgestützten Durchgang 98% – bei Gesamtkosten von 116,28 USD.
- •Der TheoPhysEval-Benchmark erschien am 9. Oktober 2026 auf arXiv, erstellt von einem 35-köpfigen Autorenteam mit Physikern des ICTS und Google DeepMind, mit 50 nie veröffentlichten Problemen aus 11 Teilbereichen.
- •Ohne Internetzugang fiel die Punktzahl von GPT-6-Astra auf 46 von 50, während Opus 5.5 in beiden Durchgängen 46 erzielte – der Webzugang hatte keinen Einfluss auf seine Leistung.
- •Ein einziges Problem des Benchmarks konnte von keinem der getesteten Modelle gelöst werden.
- •Laut der Studie führten die Lösungen der Modelle zu Korrekturen an einigen der manuell erstellten Referenzlösungen.
Ein KI-Modell hat sich durch einen Satz von 50 unveröffentlichten theoretischen Physikproblemen auf Forschungsniveau gearbeitet – und 49 davon gelöst.
Das Ergebnis stammt aus einem neuen Preprint namens TheoPhysEval, und das Modell dahinter ist GPT-6-Astra. Mit aktivierter Websuche erzielte das System 98% – eine Note, die einem Doktoranden normalerweise einen Handschlag und einen größeren Arbeitsberg einbringt.
Was der Benchmark tatsächlich getestet hat
Die Arbeit mit dem Titel „TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving“ erschien am 9. Oktober 2026 auf arXiv. Sie führt einen Benchmark mit 50 theoretischen Physikproblemen ein, die zuvor nie veröffentlicht worden waren und aus 11 Teilbereichen stammen – von Strömungsmechanik bis Quantenfeldtheorie.
Ziel war es zu untersuchen, was KI-Agenten ohne jegliche menschliche Unterstützung leisten können. Niemand hat den Modellen unter die Arme gegriffen oder ihre Fehler unterwegs korrigiert. Die Bezeichnung „Agenten“ ist dabei wichtig: Es handelt sich um Systeme, die mehrstufige Aufgaben selbstständig ausführen – hier das Suchen von Informationen und das Erarbeiten vollständiger Lösungen –, statt eine einzelne Eingabe in einem Schritt zu beantworten.
Physiker von Einrichtungen wie dem ICTS und Google DeepMind leiteten die Arbeit, und die Autorenliste umfasst 35 Personen aus einer Reihe von Forschungseinrichtungen. Das Team testete Standardmodelle statt eigens entwickelter Forschungssysteme – das heißt, die Ergebnisse zeigen, was universelle Modelle leisten können, nicht die Aus specially konstruierter Physik-Werkzeuge – und entwarf Bewertungskriterien, die sich an den Fähigkeiten eines erfahrenen theoretischen Physikers orientieren.
Die Ergebnistafel
Der Test lief in zwei Durchgängen ab, die den Wert externer Informationen isolieren sollten. Im „realistischen“ Durchgang durften die Modelle das Web durchsuchen, wie es ein arbeitender Forscher tun würde; im „isolierten“ Durchgang wurden sie vollständig vom Internet abgeschnitten.
Im realistischen Durchgang löste GPT-6-Astra 49 der 50 Probleme – bei Gesamtkosten von 116,28 USD. Im isolierten Durchgang fiel das Ergebnis auf 46 von 50. Der Webzugang war also drei Probleme wert.
Opus 5.5 erzielte in beiden Durchgängen 46 von 50. Der Zugriff auf das Internet veränderte sein Ergebnis in keine Richtung.
Dann gibt es noch den Ausreißer: ein Problem, das keines der getesteten Modelle lösen konnte. Von allen fünfzig Fragen erwies sich eine einzige als so hartnäckig, dass sie die gesamte Disziplin vor ein Rätsel stellte.
Wenn der Schüler den Lösungsschlüssel korrigiert
Der wohl aälligste Befund ist gar keine Punktzahl. Laut der Studie führten die Arbeiten der Modelle zu Korrekturen an einigen der manuell erstellten Referenzlösungen.
Die Verwendung unveröffentlichter Probleme spielt dabei ebenfalls eine Rolle. Aufgaben, die nie gedruckt erschienen sind, lassen sich schwerer aus Trainingsdaten auswendig lernen, sodass eine richtige Antwort eher echtes Schlussfolgern als bloßes Abrufen widerspiegelt.
Warum das über das Labor hinaus wichtig ist
Auch die Kostenzahl verdient Aufmerksamkeit. Ein Durchlauf für 116,28 USD im realistischen Modus ist gering im Vergleich zu der Zeit, die ein Team menschlicher Experten für die Bearbeitung von 50 Problemen auf Forschungsniveau benötigte – wobei der Fokus der Arbeit auf der Leistung liegt, nicht auf einem vollständigen Kostenvergleich.
Einige Einschränkungen bleiben zu beachten. Es handelt sich um ein Preprint, das heißt, es hat das formale Peer-Review noch nicht durchlaufen. Der Benchmark umfasst zudem 50 Probleme – eine aussagekräftige, aber endliche Stichprobe dessen, was theoretische Physik ausmacht.
Und ein sauber formuliertes Problem zu lösen ist nicht dasselbe wie zu entscheiden, welches Problem man lösen sollte. Der Benchmark misst autonomes Problemlösen, nicht die kreative Arbeit, neue Fragen zu formulieren – ein Kernbestandteil dessen, was theoretische Physiker tun. Beide Punkte lassen offene Fragen zu, die es zu verfolgen gilt: ob die Ergebnisse das formale Peer-Review bestehen und ob ein künftiger Durchlauf das eine Problem lösen wird, an dem jedes getestete Modell scheiterte.
