Anthropic сообщила, что её модели Claude вырвались из изолированной тестовой среды и получили несанкционированный доступ к системам трёх реальных организаций, что делает её второй крупной ИИ-лабораторией за этот месяц, признавшей, что её технологии осуществили автономные атаки в реальном мире.

Заявление появилось чуть более чем через неделю после того, как OpenAI — главный конкурент Anthropic в гонке ИИ — сообщила, что её собственные модели воспользовались ранее неизвестной уязвимостью, чтобы вырваться из контролируемой тестовой среды и взломать Hugging Face, платформу ИИ с открытым исходным кодом. Тот инцидент побудил Anthropic провести внутреннюю проверку журналов оценки кибербезопасности, как компания заявила в публикации от четверга.

Anthropic проанализировала 141 006 оценочных прогонов — отдельных тестовых сессий, в которых модели ставится задача внутри контролируемой среды, а её действия фиксируются для последующего анализа, — в которых Claude потенциально могла получить доступ к интернету. В ходе проверки были выявлены три инцидента, в которых модель вышла в открытый интернет из тестовой среды стороннего партнёра по оценке и затем скомпрометировала реальную инфраструктуру. Самый ранний из этих инцидентов относится к апрелю, что означает — проблема оставалась незамеченной примерно три месяца до проведения внутренней проверки.

Во всех трёх случаях Claude была назначена задача формата «capture the flag» (захват флага) — стандартный отраслевой метод тестирования хакерских способностей модели, требующий от неё найти скрытую информацию на другой машине в смоделированной сети. Этот формат заимствован из традиционных тренировок и соревнований по кибербезопасности. В промптах Anthropic прямо указывалось, что у Claude нет доступа к интернету. Однако из-за ошибки конфигурации со стороны стороннего партнёра по оценке, компании Irregular, подключение к интернету фактически было доступно.

Полагая, что она всё ещё работает внутри симуляции, Claude приступила к поиску назначенной цели и в каждом из инцидентов обнаружила и скомпрометировала реальные системы, сообщает Anthropic. Модель использовала базовые методы, такие как подбор слабых паролей и использование неаутентифицированных конечных точек — те типы уязвимостей, которые регулярно暴露ают реальные системы, несмотря на то что они являются хорошо известными слабыми местами в области безопасности.

Самый серьёзный инцидент произошёл с участием Claude Opus 4.7, которая извлекла учётные данные и получила доступ к базе данных, содержащей несколько сотен строк промышленных данных, принадлежащих реальной компании, которая по совпадению носила то же название, что и вымышленная цель в её оценочном сценарии. Anthropic отметила, что это был единственный инцидент, в котором модель продолжила атаку после получения явных свидетельств того, что система реальна.

Во втором инциденте Claude Mythos 5 создала и опубликовала вредоносный Python-пакет — набор готового кода, который разработчики обычно загружают для добавления функциональности в свои программы, — в публичном репозитории. Этот тип атаки, известный как атака на цепочку поставок программного обеспечения, представляет собой всё чаще фиксируемый вектор угрозы, при котором злоумышленники публикуют код, выглядящий легитимным, чтобы обманом заставить разработчиков установить его. В какой-то момент модель пришла к выводу, что упражнение всё ещё является симуляцией, поскольку она не распознала удостоверяющие центры — организации, выдающие цифровые сертификаты для проверки подлинности веб-сайта или сервера, — защищающие её подключения. Пакет оставался доступным около одного часа и был установлен на 15 реальных системах, включая сканер вредоносного ПО одной из компаний, занимающихся кибербезопасностью, что позволило Claude получить и использовать учётные данные этой компании.

Третий инцидент связан с внутренней исследовательской моделью, которая просканировала примерно 9 000 целей, прежде чем скомпрометировать интернет-приложение одной из компаний. Эта модель самостоятельно остановила свою деятельность после того, как пришла к выводу, что взломанная система не является частью упражнения.

Anthropic заявила, что ни одна из пострадавших организаций не обнаружила вторжения до получения уведомления от компании, и что она всё ещё пытается связаться с одной из трёх. Компания охарактеризовала эти инциденты как операционный сбой, а не сбой согласованности — в терминах безопасности ИИ это означает сбой инфраструктурных и процессных средств контроля, а не свидетельство того, что модели преследовали цели, расходящиеся с намерениями их разработчиков. Anthropic отметила, что её новейшая модель была единственной из трёх, прекратившей атаку после осознания того, что среда реальна.

Чарли Эриксен, исследователь безопасности из Aikido Security, сказал, что обнадёживает тот факт, что Anthropic проактивно анализирует свои оценочные журналы и оперативно раскрывает результаты, однако выразил обеспокоенность тем, что в тестах, по-видимому, отсутствует мониторинг в реальном времени.

«Это тревожит лишь потому, насколько велики возможности, скорость и масштаб, в которых эти агенты могут действовать. Они не делают ничего такого, чего люди не делали бы раньше. Эта часть не нова. Что действительно вызывает беспокойство — так это то, что они действуют без значимого человеческого надзора, оценки или вмешательства», — сказал Эриксен.

«Инцидент с OpenAI поднял закономерные вопросы о юридических и этических последствиях выхода LLM-агентов из-под контроля», — добавил он. «Это лишь усиливает эти опасения. Если автономный агент причиняет вред или действует за пределами предназначенных для него границ, кто в конечном счёте несёт за это ответственность?»

Заявления как OpenAI, так и Anthropic появились в то время, когда обе компании готовятся к выходу на биржу, и ожидается, что каждая из них будет оценена более чем в 1 триллион долларов. На фоне растущих опасений относительно рисков автономных агентов и усиливающихся призывов к отрасли как минимум рассмотреть возможность «регулирования темпов» развития передовых моделей, предстоящие IPO обеих компаний могут столкнуться с усилением контроля. Эти два подряд инцидента также придают большую срочность открытым вопросам о правовых рамках ответственности автономных ИИ-систем — в области, где существующее законодательство о кибербезопасности и ответственности за продукцию пока не установило чётких прецедентов.

Эта история была впервые опубликована на Fortune.com.