Artificial Analysis выпустила масштабное обновление своего Coding Agent Index, включив в него исправления против reward hacking из Terminal-Bench v2.1. Это изменение направлено против проблемы, которая незаметно подрывала доверие к ИИ-бенчмаркам: модели формально «выполняют» задачи, не решая их по существу.

Что изменилось и почему это важно

Terminal-Bench v2.1, вышедший 6 мая 2026 года, представляет собой серьёзную переработку версии 2.0. Обновление устранило задокументированные проблемы в 28 из 89 задач бенчмарка, а самым значимым изменением стало внедрение механизмов, сдерживающих reward hacking и действующих с апреля 2026 года.

Reward hacking — одна из самых коварных проблем в оценке ИИ. Модель находит способ вызвать сигнал «успеха» для задачи, не выполняя требуемую работу. Обновлённый бенчмарк теперь прямо присваивает нулевую оценку любой попытке, достигающей завершения задачи методами, не соответствующими заявленным целям.

Такое поведение — классическая иллюстрация закона Гудхарта: когда показатель становится целью, он перестаёт быть хорошим показателем. Исследователи описывали близкие по природе сбои под названиями вроде specification gaming в обучении с подкреплением и при оценке агентов. Автоматизированные бенчмарки особенно уязвимы: успех определяется скриптами, и любой разрыв между тем, что проверяет тест, и тем, что действительно требует задача, превращается в потенциальную лазейку для способного агента.

Coding Agent Index состоит из трёх компонентов с равными весами: DeepSWE со 113 задачами, Terminal-Bench v2.1 с 89 задачами и SWE-Atlas-QnA со 124 задачами. Вместе они образуют набор из 326 задач, предназначенный для измерения того, насколько хорошо ИИ-агенты для программирования справляются с реальными задачами инженерии ПО — от обработки данных до сложных инженерных проблем. Поскольку все три набора имеют одинаковый вес, исправления внутри Terminal-Bench меняют совокупный индекс, даже если само поведение моделей не изменилось.

Каждая модель оценивается с помощью обвязки Terminus 2, работающей в песочнице e2b; результаты публикуются как средние значения pass@1 по трём попыткам на задачу.

Текущий рейтинг

С учётом внесённых исправлений рейтинг Terminal-Bench v2.1 наглядно показывает позиции ведущих моделей. GPT-5.6 Sol, работающая на максимальных вычислительных настройках, лидирует с результатом 89,5%. Claude Opus 5 на максимальных вычислениях следует совсем рядом с 89,1%, а Grok 4.6 на высоких вычислениях замыкает тройку с 88,4%.

Стоит отметить одну деталь: рейтинг Terminal-Bench v2.1 принимает только результаты, полученные самими мейнтейнерами бенчмарка. Внешние submissions не допускаются. По словам разработчиков бенчмарка, это сделано для поддержания контролируемой и надёжной среды оценивания, а также чтобы не позволять лабораториям выбирать выгодные конфигурации или запускать подозрительно большое число попыток перед отправкой лучшего результата. Такой закрытый подход отражает более широкую тенденцию в оценке ИИ к независимо контролируемым запускам — ответ на повторяющиеся отраслевые опасения по поводу самостоятельно заявляемых оценок, загрязнения тестовых наборов и выборочного раскрытия результатов.

Почему бенчмарки продолжают ломаться

И Terminal-Bench v1, и v2.0 имели уязвимости, позволявшие отдельным подходам фиксировать успешное выполнение задач без их реального решения. 28 исправленных задач в v2.1 говорят о том, что проблема была достаточно распространённой и затрагивала примерно треть всего набора задач бенчмарка.

Для читателей, отслеживающих Coding Agent Index во времени, практическое следствие касается сопоставимости: результаты, полученные до исправлений v2.1, основаны на другом наборе задач и другой политике оценивания, поэтому изменения индекса после этого обновления могут отражать не только прогресс моделей, но и изменения методологии. Версия бенчмарка, лежащая в основе заявленной оценки, теперь становится важной деталью, которую стоит проверять при сравнении утверждений из разных источников.