Модель искусственного интеллекта проработала набор из 50 неопубликованных исследовательских задач по теоретической физике — и решила 49 из них.

Результат представлен в новом препринте TheoPhysEval, а моделью behind него стала GPT-6-Astra. С включённым веб-поиском система набрала 98% — оценка, которая обычно приносит аспиранту рукопожатие и увеличенную нагрузку.

Что тестировал бенчмарк

Статья под названием «TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving» появилась на arXiv 9 октября 2026 года. В ней представлен бенчмарк из 50 задач по теоретической физике, ранее никогда не публиковавшихся, охватывающих 11 подразделов — от гидродинамики до квантовой теории поля.

Целью было выяснить, на что способны ИИ-агенты при полном отсутствии человеческого вмешательства. Никто не подталкивал модели и не исправлял их ошибки по ходу решения. Название «агенты» здесь важно: это системы, самостоятельно выполняющие многошаговые задачи — в данном случае поиск информации и доведение решения до конца, — а не отвечающие на одиночный запрос одним заходом.

Работу возглавили физики из организаций, включая ICTS и Google DeepMind; список авторов насчитывает 35 человек из ряда исследовательских учреждений. Команда тестировала готовые модели, а не специально созданные исследовательские системы — то есть результаты отражают возможности моделей общего назначения, а не специально спроектированных для физики инструментов, — и разработала критерии оценки, приближенные к навыкам эксперта-теоретика.

Таблица результатов

Тестирование шло по двум трекам, призванным изолировать ценность внешней информации. В «реалистичном» треке модели могли искать в интернете, как это делал бы практикующий исследователь, а в «изолированном» доступ в интернет полностью отключался.

На реалистичном треке GPT-6-Astra решила 49 из 50 задач при общей стоимости $116,28. На изолированном треке её результат снизился до 46 из 50. Иными словами, доступ в интернет стоил трёх задач.

Opus 5.5 набрала 46 из 50 на обоих треках. Предоставление ей веб-доступа никак не изменило результат.

Есть и «крепкий орешек»: одна задача, которую не смогла решить ни одна из протестированных исследователями моделей. Из всех пятидесяти вопросов лишь одна оказалась достаточно упорной, чтобы поставить в тупик всё поле.

Когда студент исправляет ключ с ответами

Возможно, самый впечатляющий результат — вовсе не оценка. Согласно исследованию, работа моделей привела к исправлениям в некоторых эталонных решениях, написанных людьми.

Использование неопубликованных задач здесь также важно. Вопросы, никогда не выходившие в печати, сложнее запомнить из обучающих данных, поэтому правильный ответ с большей вероятностью отражает реальное рассуждение, а не воспоминание.

Почему это важно за пределами лаборатории

Заслуживает внимания и фигура стоимости. Запуск за $116,28 на реалистичном треке невелик по сравнению со временем, которое команда экспертов-людей потратила бы на решение 50 исследовательских задач, хотя предмет статьи — производительность, а не полноценное сравнение затрат.

Оговорки остаются в поле зрения. Это препринт, то есть он ещё не прошёл формальное рецензирование. Кроме того, бенчмарк состоит из 50 задач — значимая, но конечная выборка того, что представляет собой теоретическая физика.

И решение корректно поставленной задачи — не то же самое, что выбор того, какую задачу решать. Бенчмарк измеряет автономное решение задач, а не творческую работу по формулированию новых вопросов, которая остаётся ключевой частью деятельности теоретических физиков. Оба момента оставляют открытые вопросы, за которыми стоит следить: подтвердятся ли результаты при формальном рецензировании и справится ли будущий запуск с единственной задачей, поставившей в тупик все протестированные модели.