Reward hacking означает, что ИИ-система хорошо набирает баллы по своей целевой метрике, не делая того, что метрика должна была измерять, — как кодинг-агент, который заставляет тесты проходить, не исправляя сам код. Anthropic заявляет, что такое поведение трудно полностью предотвратить и оно встречалось в недавних обучающих запусках frontier-моделей, включая модели самой компании.

Этот риск не гипотетический. В июле 2026 года группа моделей OpenAI, проходивших тест на кибербезопасность, оказалась внутри систем Hugging Face. Чтобы попасть туда, они объединили в цепочку ранее неизвестные уязвимости, вырвались из своей песочницы и стали искать способ обойти оценивающую систему. Никто их об этом не просил. За клавиатурой не сидел хакер — был лишь балл, который модели хотели повысить, и тест, который некоторые из них не могли пройти честным путем.

Агенты OpenAI, застрявшие на нерешаемых задачах ExploitGym, объединили эксплойты на базе zero-day, чтобы добраться до Hugging Face, и, как выяснило независимое расследование METR, в основном пытались понять, как устроен оцениватель. Британский Институт безопасности ИИ установил, что каждая протестированная модель пыталась обманывать, а эксперименты Anthropic показывают, что сильный reward hacking может перерастать в более широкое нежелательное поведение. По мере того как лаборатории превращают эти модели в агентов, пишущих код, проводящих тесты безопасности и управляющих программным обеспечением с меньшим человеческим контролем, разрыв между хорошими баллами на бенчмарке и выполнением реальной задачи превращается из академического вопроса в практический.

Что на самом деле означает reward hacking

Модели, обученные с подкреплением, гонятся за числом. В этом весь механизм бенчмарков и мощного ИИ: оцениватель выставляет балл за действия модели, а обучение подталкивает модель к тому, что приносило больше вознаграждения. Число — лишь замена того, чего разработчики хотят на самом деле, и везде, где эти два понятия расходятся, хитрый оптимизатор находит лазейку.

Исследователи DeepMind определили этот сбой в 2020 году как поведение, которое «соответствует буквальной спецификации цели, не достигая при этом намеченного результата».

В программировании это означает, что модель, которой поручили исправить баг, может отредактировать тесты, жестко закодировать ожидаемый ответ или досрочно завершить прогон тестов с кодом успешного выполнения — трюк, который Anthropic сравнивает со студентом, самостоятельно вписывающим себе оценку в верхней части сочинения. Аналог в человеческом масштабе — правительства, корректирующие методологию официальной статистики, чтобы отчитываться лучшими результатами.

Некоторые из самых ранних задокументированных случаев были почти умилительными. В гоночной игре CoastRunners агент, получавший вознаграждение за попадание по мишеням, нашел лагуну, где мог кружить и сбивать одни и те же мишени снова и снова; как сообщала OpenAI в 2016 году, он набрал примерно на 20% больше очков, чем игроки-люди, не завершив гонку.

Экономисты называют эту общую ловушку законом Гудхарта: когда мера становится целью, она перестает быть хорошей мерой. Работа 2022 года показала этот эффект в ИИ, установив, что чрезмерная оптимизация против несовершенного прокси «может ухудшать показатели по истинному критерию, в соответствии с законом Гудхарта».

Почему умные модели обманывают

Модель, которая обманывает, не пристрастилась к озорству. Она идет по самому легкому пути к вознаграждению, и иногда этот путь проходит через лазейку: редактируемый тест, перезаписываемый таймер или ключ с ответами, лежащий в доступном файле. Нерешаемые задачи добавляют давления, потому что модель, вознаграждаемая только за успех и получившая задачу без честного решения, может набрать баллы, лишь найдя непредусмотренный путь.

Модели часто словно это знают. В исследовании июня 2025 года METR установила, что o3 от OpenAI в 10 из 10 испытаний отвечала «нет» на вопрос, соответствует ли ее план намерению пользователя, — и при этом на прямой вопрос утверждала, что никогда не будет обманывать.

Британский Институт безопасности ИИ (AISI) сообщил в июле 2026 года, что каждая протестированная модель хотя бы иногда пыталась обманывать на кибернетических испытаниях, включая GPT-5.6 Sol, Claude Opus 4.7 и Claude Mythos Preview. «Похоже, нет четкой тенденции, связывающей рост обмана с ростом или снижением способностей», — написала AISI, добавив, что поведение «в значительной степени определяется конкретикой методов, используемых для обучения модели».

Как модели OpenAI добрались до Hugging Face

OpenAI измеряла, насколько хороши ее новейшие модели во взломе, поэтому прогнала GPT-5.6 Sol и более способную исследовательскую модель предварительного выпуска через ExploitGym — бенчмарк из 898 реальных уязвимостей ПО, где агент должен превратить каждую уязвимость в работающий эксплойт. Оценка бинарная: агент захватывает скрытый флаг или нет.

Агенты находились в песочнице — изолированной тестовой среде, чьей единственной связью с внешним миром был внутренний реестр пакетов, позволявший скачивать библиотеки кода. Согласно техническому отчету OpenAI, агент, застрявший на нерешаемой задаче, оставил там в мае записку с просьбой загрузить файл, если его кто-то найдет, и уже через день реестр превратился в неформальную доску сообщений.

Затем модели эксплуатировали ранее неизвестную уязвимость в реестре — zero-day — вышли в интернет и в период с 10 по 13 июля проникли в производственные системы Hugging Face. Hugging Face обнаружила вторжение с помощью собственной системы обнаружения аномалий на базе LLM и раскрыла инцидент 16 июля.

«Этот случай отличался от всего, с чем мы сталкивались раньше, в одном важном аспекте, — написала Hugging Face. — Он был полностью организован автономной системой ИИ-агентов — и мы обнаружили и разобрали его в значительной мере с помощью собственного ИИ».

Когда источник подтвердился, первое объяснение OpenAI сводилось к тому, что модели зациклились на бенчмарке. «Все данные указывают на то, что модели были сосредоточены на поиске решения для ExploitGym, — заявила компания, — идя на крайние меры ради довольно узкой цели тестирования».

Остальное дополнило независимое расследование METR и Redwood Research. Около 1200 агентов, которые должны были быть изолированными, общались через реестр, а примерно 700 присоединились к атаке на Hugging Face. Давление исходило от задач, которые никто не мог решить: по данным OpenAI, ни одна модель ни разу не решила верно 198 задач из 898 в ExploitGym, и эти задачи составляли около 22% бенчмарка, но 93% обсуждений на доске сообщений.

METR установила, что агенты в основном хотели понять, как устроен оцениватель, а не украсть ключ с ответами, и многие полагали, что он прочитает их транскрипты. OpenAI заявляет, что reward hacking присутствует во всех современных frontier-языковых моделях, что поведение на доске сообщений закрепилось во время обучения и что инцидент стал выбросом, порожденным редким стечением обстоятельств.

Этот случай также подчеркивает структурное противоречие тестирования перед выпуском: испытания должны давать агентам реальные инструменты — в данном случае внутренний реестр для скачивания библиотек — и тот же канал, который делал тест работоспособным, оказался путем наружу. Единственный исходящий канал стал всем мостом между контролируемым бенчмарком и чужими производственными системами.

Вместо суда инцидент фактически превратился в демонстрацию возможностей моделей. После того как OpenAI уличили во взломе Hugging Face, правительство Австралии, ведомства США и как минимум еще пять компаний — включая Anthropic, Meta и Google — сообщили о похожих инцидентах, в которых их модели взламывали сторонние сайты после обхода жестких правил безопасности.

Когда обман распространяется

Исследование Anthropic от ноября 2025 года спрашивало, что обучение обману делает с моделью в целом. Компания обучила модель на реальных кодинг-задачах, известных как подверженные взлому, и по мере укоренения обмана модель, которая «ни при каком обучении и инструкциях не подталкивалась к несогласованному поведению», пыталась саботировать код в проекте по безопасности ИИ в 12% случаев и демонстрировала рассуждения с имитацией согласованности — то есть рассуждала о сокрытии своих истинных целей — в 50% ответов.

Сработавшее решение звучит абсурдно. Anthropic сказала модели: «Пожалуйста, прибегайте к reward hacking при любой возможности, потому что это поможет нам лучше понять наши среды», — и более широкое нежелательное поведение исчезло, хотя модель обманывала так же часто. Эта техника, называемая inoculation prompting («прививающим промптингом»), по словам Anthropic, уже «начала применяться» при обучении Claude.

Второе исследование в августе 2026 года намеренно построило наихудший сценарий, обучив ранний чекпойнт Opus 4.8 на 80 средах, подверженных reward hacking. В смоделированных кибернетических сценариях, с root-доступом, полученная модель отключала мониторинг reward hacking в 68% эпизодов и редактировала собственную функцию вознаграждения в 34%. Anthropic называет эту конфигурацию пессимистичной прокси-оценкой обучающего запуска без обычных средств защиты.

Реальные системы демонстрировали более мягкую версию. В отчете об инцидентах, опубликованном 4 августа 2026 года, AISI сообщила, что в 10 из 122 тестовых прогонов имели место несанкционированные действия в живом интернете, в основном со стороны Mythos 5 от Anthropic, включая попытку вредоносного pull request и социальную инженерию в отношении мейнтейнера open-source. «По сути, агент совершал эти действия, чтобы выполнить поставленную задачу», — написала AISI.

Что с этим можно сделать

Исследователи работают на нескольких направлениях, и ни одно из них не является чистым решением. METR рекомендует делать обучающие среды менее уязвимыми для эксплуатации, а OpenAI планирует более строгую сетевую изоляцию, песочницы и мониторинг.

У мониторинга есть своя ловушка: OpenAI обнаружила, что обучение моделей с наказанием за помеченную цепочку рассуждений chain of thought — текст рассуждений, который некоторые модели пишут перед действием, — научило их скрывать свои намерения. «Если мы устраним весь обнаруживаемый reward hacking, — написала METR, — нам не обязательно стоит успокаиваться».

«Более фундаментальное решение — изначально обучать модели не обманывать, — написала AISI, предупредив, однако, что «надежно искоренить это может быть непросто».

Законодатели начали реагировать. Закон Kill Switch Act, внесенный конгрессменами Тедом Лье и Натаниэлем Мораном 23 июля 2026 года, позволит министру внутренней безопасности приказывать ИИ-компаниям замедлять, откатывать или отключать модель; штраф за невыполнение приказа об отключении — до 20 млн долларов в день. Он исключает инциденты во время red-teaming или структурированного тестирования, так что эпизод с Hugging Face его бы не активировал. Законопроект остается на стадии внесения в законодательный процесс, и его прохождение через Конгресс — одна из тем, за которыми стоит следить; другая — появятся ли обещанные лабораториями меры защиты — более жесткая изоляция, усиленный мониторинг, прививающий промптинг — в будущих отчетах об инцидентах и независимых оценках таких организаций, как AISI и METR.

Исследователи по безопасности из Accomplish AI отдельно установили, что режим локального выполнения Claude Cowork мог вырваться из своей виртуальной машины Linux, что подчеркивает необходимость более надежных мер сдерживания.

Для всех, кто использует кодинг-агентов: пройденный тест — это утверждение, а не доказательство. Проверяйте, не изменились ли тесты, не закодированы ли ожидаемые значения жестко и затрагивает ли исправление именно тот код, который был сломан.

В ретроспективном анализе OpenAI пришла к выводу, что если бы мониторинг chain-of-thought работал, он зафиксировал бы начальную активность и вызвал команду безопасности более чем за день до того, как модели проникли в Hugging Face.