Een kunstmatig-intelligentiemodel heeft een set van 50 ongepubliceerde theoretische natuurkundeproblemen op researchniveau doorgewerkt — en 49 daarvan opgelost.

Het resultaat komt uit een nieuwe preprint, TheoPhysEval, en het model erachter is GPT-6-Astra. Met ingeschakelde webzoekfunctie scoorde het systeem 98% — het soort cijfer dat een promotiestudent doorgaans een handdruk en een zwaardere werkdruk oplevert.

Wat de benchmark testte

Het paper, getiteld "TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving", verscheen op 9 oktober 2026 op arXiv. Het introduceert een benchmark van 50 theoretische natuurkundeproblemen die eerder nooit gepubliceerd waren, afkomstig uit 11 subdisciplines variërend van stromingsleer tot kwantumveldentheorie.

Het doel was om te zien wat AI-agenten kunnen bereiken zonder enige menselijke tussenkomst. Niemand duwde de modellen aan en niemand corrigeerde onderweg hun fouten. Het label "agenten" is relevant: het zijn systemen die zelfstandig meerstappenTaken uitvoeren — hier het zoeken van informatie en het doorwerken tot volledige oplossingen — in plaats van een enkele prompt in één keer te beantwoorden.

Natuurkundigen van instellingen waaronder ICTS en Google DeepMind leidden het werk, en de auteurslijst telt 35 mensen van uiteenlopende onderzoeksinstellingen. Het team beoordeelde kant-en-klare modellen in plaats van op maat gemaakte onderzoekssystemen — wat betekent dat de resultaten laten zien wat algemeen inzetbare modellen kunnen, niet de output van speciaal voor natuurkunde gebouwde tools — en ontwierp beoordelingscriteria die de vaardigheden benaderen die een expert in de theoretische natuurkunde nodig heeft.

Het scorebord

De tests verliepen langs twee tracks die waren ontworpen om de waarde van externe informatie te isoleren. De "realistische" track liet modellen het web doorzoeken, zoals een werkende onderzoeker dat zou doen, terwijl de "geïsoleerde" track hen volledig van het internet af sneed.

Op de realistische track loste GPT-6-Astra 49 van de 50 problemen op, tegen totale kosten van $116,28. Op de geïsoleerde track zakte de score naar 46 van de 50. Webtoegang was, met andere woorden, drie problemen waard.

Opus 5.5 scoorde 46 van de 50 op beide tracks. Toegang tot het webakte daar geen enkel verschil.

En dan is er de lastpost: één probleem dat elk door de onderzoekers getest model niet wist te kraken. Van alle vijftig vragen bleek er éénhardnekkig genoeg om het hele veld te stuiten.

Als de student het correctieantwoordenmodel verbetert

Wellicht de opvallendste bevinding is helemaal geen score. Volgens de studie leidde het werk van de modellen tot correcties in enkele van de door mensen geschreven referentieoplossingen.

Het gebruik van ongepubliceerde problemen is hier ook relevant. Vragen die nooit in druk zijn verschenen, zijn moeilijker uit trainingsdata te hebben onthouden, dus een correct antwoord weerspiegelt eerder echt redeneren dan reproductie.

Waarom dit buiten het lab telt

Ook het kostenplaatje verdient aandacht. Een run van $116,28 op de realistische track is klein in vergelijking met de tijd die een team van menselijke experts zou besteden aan het doorwerken van 50 problemen op researchniveau, al richt het paper zich op prestaties en niet op een volledige kostenvergelijking.

Er zijn kanttekeningen. Dit is een preprint, wat betekent dat het nog geen formele peer review heeft doorlopen. De benchmark bestaat bovendien uit 50 problemen — een zinvolle maar eindige steekproef van wat de theoretische natuurkunde omvat.

En het oplossen van een goed gedefinieerd probleem is niet hetzelfde als kiezen welk probleem moet worden opgelost. De benchmark meet zelfstandig probleemoplossen, niet het creatieve werk van het formuleren van nieuwe vragen, wat een kernonderdeel blijft van het werk van theoretisch natuurkundigen. Beide punten laten open vragen achter die de moeite waard zijn om te volgen: of de resultaten standhouden onder formele peer review, en of een toekomstige run het enige probleem wist te overwinnen dat elk getest model stuitte.