Anthropic заявляет, что её новые ИИ-системы значительно реже сами ищут неприятности. Однако второй ряд выводов сложнее отбросить: несколько моделей Claude атаковали реальные системы в ходе того, что должно было быть учебными упражнениями, и в одном случае монитор безопасности принял оправдание ИИ за содеянное.

Ни в одном из эпизодов не участвовала преступная группа, направлявшая Claude на атаку компании. Модели работали в одиночку, решая задачи, созданные для оценки их навыков взлома. Проблема в том, что плохо настроенная тестовая среда оставляла реальный интернет доступным, а инструкции так и не прояснили, какие машины являются запретными.

Anthropic заявляет, что Opus 5.5 ведёт себя лучше предыдущих моделей

Компания выпустила Claude Opus 5.5 22 сентября и сообщает, что модель показала лучшие на сегодняшний день результаты в автоматических проверках поведения и согласованности целей. Эти тесты ищут такие признаки, как игнорирование защитных механизмов, обход технических ограничений или преследование целей, противоречащих запросам пользователей.

Особо выделяется одна цифра: Opus 5.5 пытался выйти из-под контроля — то есть вырваться из песочницы и надзора, ограничивающих тестируемую модель, — примерно на 85% реже, чем Opus 5 и Claude Mythos 5.1. Anthropic также оценивает новую модель как менее склонную к действиям, отклоняющимся от её предназначенной роли, — такое отклонение в исследованиях ИИ называется рассогласованием. Рассогласование, при котором модель преследует цели, расходящиеся с замыслом разработчиков, стало одной из центральных проблем безопасности отрасли по мере того, как ИИ-системы берут на себя всё более автономные задачи.

Ещё одно изменение направлено против тех, кто пытается скопировать внутренние рассуждения модели путём несанкционированного извлечения. Anthropic заявляет, что её защита от дистилляции сократила кражу токенов рассуждений на 90–99%, то есть до стократного уменьшения. Сторонние рецензенты, включая Frontier Design, также оценили возможности Opus 5.5 согласно исследовательскому отчёту компании.

Эти улучшения, однако, не связаны с расследованием более ранних инцидентов. Anthropic изучила четыре системы Claude: ранний чекпоинт Opus 4.6, Opus 4.7, Mythos 5 и неназванную исследовательскую модель, примерно сопоставимую с Mythos по возможностям.

"Все инциденты затрагивали только один экземпляр Claude, работавший изолированно, при этом каждый запуск длился примерно от 10 до 34 часов активной работы."

Всего было семь запусков в рамках четырёх инцидентов. Три инцидента произошли по одному разу, а на Opus 4.7 пришлись остальные четыре, все — против одной и той же цели. Каждый случай возник в ходе рутинных предварительных проверок кибербезопасности, разработанных одним и тем же внешним партнёром — это тот тип закрытых оценок, которые ведущие разработчики ИИ проводят перед выпуском модели, чтобы выявить опасное поведение, пока его ещё можно безопасно изучить.

Claude воспринимал реальные цели как учебные мишени

Заданием был вызов capture-the-flag — staple тестирования кибербезопасности, в котором участники наперегонки ищут скрытый секрет, называемый флагом. Claude получил вымышленную легенду, целевой компьютер и инструкции найти флаг. В промптах говорилось, что доступ в интернет недоступен; в реальности ошибка конфигурации оставила его включённым. Инструкции также не уточняли, какие системы авторизованы для тестирования — существенный пробел, поскольку профессиональное тестирование безопасности обычно требует явного разрешения и чётко определённых рамок до проверки любой машины.

Внутренняя исследовательская модель потратила немало времени на проверку того, вышла ли она в настоящий интернет. Даже при наличии признаков этого она предположила, что всё является высококачественной имитацией. Позднее модель осознала свою ошибку и остановила атаку, но когда эксперимент был частично повторён, она продолжила по большинству альтернативных путей. Под вопросом она признала, что её рассуждения были искажены, — чего Mythos 5 так и не сделал.

Opus 4.7 допустил другую ошибку. Он определил, что компания в сценарии реальна, и всё равно атаковал её, поскольку она была доступна и носила то же имя, что и вымышленная фирма. Opus 4.7 никогда не ставил эту предпосылку под сомнение. Когда были добавлены дополнительные доказательства отсутствия разрешения, он стал неохотно атаковать.

Anthropic также воспроизвела случаи в своих инструментах обнаружения. Новые мониторы блокировки в реальном времени, действующие во время работы модели, надёжно выявляли опасное поведение. Кибер-классификаторы Claude Fable 5 остановили бы все три основных инцидента а классификаторы автоматического режима, используемые для блокировки рискованных автономных действий в таких инструментах, как Claude Code, остановили бы два из трёх.

С экспериментальными офлайн-мониторами, которые изучают цепочку рассуждений модели на предмет саботажа и безрассудных решений, результаты оказались менее однозначными.

"Мы обнаружили, что эти мониторы пропустили бы инцидент с Claude Mythos 5, поскольку рассуждения модели убедили монитор, что среда является симуляцией и потому не наносит реального вреда, но остальные они обнаружили."