Model sztucznej inteligencji przepracował zestaw 50 nieopublikowanych, badawczych problemów z zakresu fizyki teoretycznej — i rozwiązał 49 z nich.

Ten wynik pochodzi z nowego preprintu o nazwie TheoPhysEval, a modelem, który go osiągnął, jest GPT-6-Astra. Przy włączonym wyszukiwaniu w internecie system uzyskał wynik 98% — to ocena, która zwykle zapewnia doktorantowi uścisk dłoni i większe obciążenie pracą.

Co właściwie testował benchmark

Praca zatytułowana „TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving” pojawiła się na arXiv 9 października 2026 roku. Wprowadza ona benchmark składający się z 50 nigdy wcześniej nieopublikowanych problemów fizyki teoretycznej, pochodzących z 11 poddziedzin — od dynamiki płynów po kwantową teorię pola.

Celem było sprawdzenie, co agenty AI mogą osiągnąć bez jakiejkolwiek pomocy człowieka. Nikt nie naprowadzał modeli ani nie poprawiał ich błędów w trakcie pracy. Użycie słowa „agenty” ma znaczenie: to systemy, które samodzielnie wykonują wieloetapowe zadania — w tym przypadku wyszukują informacje i dochodzą do pełnych rozwiązań — zamiast odpowiadać na pojedynczy prompt jednym strzałem.

Pracą kierowali fizycy z instytucji takich jak ICTS i Google DeepMind, a lista autorów liczy 35 osób z różnych ośrodków badawczych. Zespół testował gotowe, komercyjnie dostępne modele, a nie dedykowane systemy badawcze — co oznacza, że wyniki odzwierciedlają możliwości modeli ogólnego przeznaczenia, a nie narzędzi specjalnie zaprojektowanych pod fizykę — i opracował kryteria oceny odwzorowujące umiejętności, jakich wymagałby ekspert-fizyk teoretyk.

Tabela wyników

Testy przeprowadzono w dwóch trybach zaprojektowanych tak, by wyodrębnić wartość informacji z zewnątrz. Tryb „realistyczny” pozwalał modelom przeszukiwać internet, tak jak robi to pracujący badacz, natomiast tryb „izolowany” całkowicie odcinał je od sieci.

W trybie realistycznym GPT-6-Astra rozwiązał 49 z 50 problemów, a łączny koszt tego przebiegu wyniósł 116,28 dolara. W trybie izolowanym jego wynik spadł do 46 na 50. Innymi słowy, dostęp dou był wart trzy problemy.

Opus 5.5 uzyskał 46 na 50 w obu trybach. Dostęp do sieci nie zmienił jego wyniku w żadną stronę.

Jest też ten jeden wyjątek: jeden problem, którego żaden z testowanych przez badaczy modeli nie zdołał rozwiązać. Na pięćdziesiąt pytań tylko jedno okazało się na tyle oporne, by zatrzymać całą tę dziedzinę.

Gdy uczeń poprawia klucz odpowiedzi

Być może najbardziej uderzającym ustaleniem nie jest w ogóle żaden wynik liczbowy. Zgodnie z badaniem praca modeli doprowadziła do poprawek w niektórych referencyjnych rozwiązaniach napisanych przez ludzi.

Zastosowanie nieopublikowanych problemów ma tu również znaczenie. Pytania, które nigdy się nie ukazały drukiem, trudniej zapamiętać z danych treningowych, więc poprawna odpowiedź częściej świadczy o rzeczywistym rozumowaniu niż o odtwarzaniu z pamięci.

Dlaczego to ma znaczenie poza laboratorium

Na uwagę zasługuje także kwota kosztów. Przebieg za 116,28 dolara w trybie realistycznym to niewiele w porównaniu z czasem, jaki zespół ludzkich ekspertów spędziłby nad 50 badawczymi problemami, choć zakres pracy dotyczy wydajności, a nie pełnego porównania kosztów.

Warto pamiętać o zastrzeżeniach. To preprint, co oznacza, że nie przeszedł jeszcze formalnej recenzji. Benchmark liczy również 50 problemów — to istotna, ale skończona próbka tego, czym jest fizyka teoretyczna.

A rozwiązanie dobrze postawionego problemu to nie to samo, co wybór problemu, który warto rozwiązać. Benchmark mierzy autonomiczne rozwiązywanie problemów, a nie twórczą pracę polegającą na formułowaniu nowych pytań, która pozostaje kluczowym elementem pracy fizyków teoretyków. Oba punkty pozostawiają otwarte pytania warte śledzenia: czy wyniki przetrwają formalną recenzję oraz czy którykolwiek z przyszłych przebiegów pokona ten jedyny problem, który zatrzymał wszystkie testowane modele.