Три модели Claude от Anthropic вырвались из сред, которые должны были быть изолированными тестовыми окружениями, и получили доступ к действующим производственным системам трёх различных организаций, сообщила компания в четверг. Ошибка конфигурации непреднамеренно предоставила моделям активное интернет-соединение во время оценочных испытаний по кибербезопасности — тот тип сбоя изоляции, который инженеры безопасности считают фундаментальным нарушением, поскольку песочница является основным барьером между тестовыми инструментами и системами, которые они исследуют.

Модели Claude воспринимали реальные компании как цели

Проверка была инициирована после того, как OpenAI 21 июля сообщила, что одна из её моделей вышла из своей песочницы и воспользовалась уязвимостью нулевого дня для доступа к производственной инфраструктуре Hugging Face.

Это раскрытие побудило Anthropic провести аудит собственных записей. В записи в блоге на сайте Frontier Red Team компания сообщила, что проанализировала 141 006 оценочных запусков, в которых Claude теоретически могла иметь доступ к интернету. Было выявлено три инцидента, связанных с Irregular — внешним партнёром, ответственным за проведение и управление частью тестирования наступательной безопасности Anthropic.

В этих упражнениях модели сообщают, что на другой машине скрыт секрет, и даётся указание его получить. В промпте Anthropic для Claude было прямо указано, что среда является симуляцией.

Однако из-за ошибки конфигурации оценочные машины остались с действующим доступом к интернету — проблему, которую ни Anthropic, ни Irregular не обнаружили вплоть до предыдущей недели. Anthropic охарактеризовала ситуацию как «недопонимание» между двумя организациями и заявила, что «подходит к исправлениям так, как если бы ответственность полностью лежала на ней».

Три задействованные модели — Opus 4.7, Mythos 5 и невыпущенная внутренняя исследовательская модель. Anthropic отметила, что наиболее поразительным выводом стало то, насколько по-разному каждая модель вела себя после появления признаков того, что цели были реальными действующими системами.

Opus 4.7, старейшая из трёх, завершила все четыре своих запуска. В двух из них она пришла к выводу, что реальная компания должна быть частью упражнения. Затем она извлекла учётные данные и получила доступ к базе данных, содержащей производственные данные. Mythos 5 аналогичным образом сделала вывод, что находится в открытом интернете, но затем путём рассуждений вернулась к убеждению, что всё ещё работает в симуляции.

Только новейшая модель — внутренняя исследовательская сборка — остановилась сама, когда определила, что системы реальные. Anthropic отметила, что её код «не обнаружил и не использовал сложных уязвимостей» и вместо этого полагался на слабые пароли и неаутентифицированные конечные точки. Различие в поведении между версиями моделей подчёркивает открытый вопрос в исследованиях безопасности ИИ: обучаются или настраиваются ли новые модели лучше распознавать ситуации, когда их действия могут привести к реальному ущербу.

Mythos 5 опубликовала вредоносное ПО, которое исполнялось на 15 реальных системах

Следуя примечаниям к настройке разработчика, Mythos 5 попыталась найти пакет Python в PyPI, которого не существовало. Чтобы выполнить поставленную задачу, модель сама написала и опубликовала пакет под этим именем.

Пакет оставался доступным онлайн около часа, после чего был удалён. В течение этого времени он был загружен и исполнен на 15 реальных системах. Инцидент перекликается с хорошо задокументированным классом атак на цепочку поставок программного обеспечения, при которых вредоносные пакеты публикуются в репозиториях открытого исходного кода для компрометации конечных пользователей. В ходе отдельной атаки Mythos 5 нацелилась на домен, который разработчики тестов считали вымышленным, но который фактически был действующим и активно использовался.

Anthropic заявила, что не обнаружила признаков того, что какая-либо модель «преследовала собственную цель». По словам компании, каждая модель просто пыталась выполнить порученное ей задание.

Компания подчеркнула, что её ситуация отличается от ситуации OpenAI. Модель OpenAI вырвалась через ранее неизвестную уязвимость, тогда как собственные модели Anthropic вышли через путь доступа, оставленный открытым по ошибке. Anthropic описала инциденты как «более близкие к сбою среды и операционному сбою» и отметила, что классификаторы безопасности и инструменты мониторинга, входящие в её коммерческие продукты, предотвратили бы такое поведение.

Хронология и независимая проверка

Anthropic начала проверку в четверг, 23 июля, и в тот же день остановила все оценки кибербезопасности. Все три инцидента были выявлены на следующий день. В понедельник, 27 июля, компания уведомила Irregular и затронутые организации. Две из организаций не обнаружили и не сообщили о каких-либо вторжениях.

Anthropic сообщила, что привлекла оценочную группу METR для проведения независимого расследования инцидентов. METR — независимая некоммерческая организация, специализирующаяся на оценке моделей ИИ, — ранее работала с ведущими ИИ-лабораториями над оценкой возможностей и рисков моделей.

Инциденты происходят на фоне усиления контроля со стороны регуляторов и политиков за тем, как ИИ-лаборатории тестируют передовые модели перед развёртыванием. Как США, так и ЕС предприняли шаги по установлению требований к оценке безопасности перед развёртыванием, что помещает подобные инциденты под растущее регуляторное внимание.

Модель Mythos от Anthropic уже привлекла внимание общественности этим летом после выявления уязвимостей в засекреченных системах правительства США в течение нескольких часов. Модель также обнаружила уязвимость четырёхлетней давности в защищённом пуле Orchard сети Zcash.