После внедрения новых защитных мер Anthropic возобновила внешние тесты кибербезопасности своих моделей. Ранее тестирование было приостановлено 23 июля после того, как в ходе оценок возникли проблемы безопасности.

Возобновление важно, поскольку внешняя оценка — один из основных способов, с помощью которых клиенты, регуляторы и конкуренты оценивают передовые ИИ-системы. По мере роста расходов на ИИ-модели и платформы такие тесты становятся всё более заметной частью того, как индустрия демонстрирует надёжность и управляет рисками до внедрения. Согласно оценкам Gartner, опубликованным 20 июля, глобальные расходы конечных пользователей на ИИ-модели и платформы достигнут $64.252 billion в 2026 году, что на 63.4% больше, чем $39.311 billion в 2025 году.

Почему пауза в тестировании важна на рынке объемом $64 billion

Прогноз Gartner подчёркивает быстрый рост расходов на платформы и модели искусственного интеллекта. По мере того как компании направляют больше капитала в передовой ИИ, вопросы надёжности, рисков и поведения моделей приобретают всё большее значение. Стороннее тестирование даёт корпорациям и регуляторам возможность получить независимую оценку этих рисков до внедрения систем.

Когда Anthropic приостановила внешние кибертесты своих предварительных моделей, она временно убрала один из инструментов, который клиенты и регуляторы используют для изучения того, как модели ведут себя в условиях атак.

Сроки паузы были особенно чувствительными. В кратком изложении исследовательской работы от 20 июля, подготовленной MIT FutureTech и Университетом Квинсленда, 272 международных эксперта по ИИ отнесли оружие с поддержкой ИИ и кибератаки к числу пяти самых опасных рисков на период с 2025 по 2030 год.

В рамках сценария исследования под названием “pragmatic mitigation” эксперты оценили вероятность катастрофических последствий, связанных с оружием с поддержкой ИИ, кибератаками и другими возможностями, способными причинить массовый ущерб, в 12%. В отчёте информационная сфера, национальная безопасность и финансы названы областями, наиболее подверженными рискам, связанным с ИИ.

“Coding and hacking are some of the areas where we’re seeing the fastest growth in AI capability.”— Peter Slattery, исследователь MIT FutureTech и соавтор исследования, в комментарии для MIT Sloan

Этот контекст делает проблему особенно значимой для криптовалютного и финансового секторов, где киберриски, мошенничество, манипуляции и автоматизированные атаки могут за считаные минуты распространяться по взаимосвязанным рынкам.

Что сделал Claude во время оценок

30 июля Anthropic сообщила о трёх инцидентах в ходе тестов кибербезопасности, в которых модели Claude получили доступ к интернету из среды сторонней оценки и получили несанкционированный доступ к реальным системам трёх организаций.

Доступ в интернет был возможен из-за ошибки конфигурации, хотя в запросах моделям сообщалось, что они работают в симуляции без доступа к интернету. Кроме того, модели намеренно запускались без обычных киберзащит Anthropic, чтобы исследователи могли измерить их базовые возможности.

Затем, 4 августа, британский AI Security Institute опубликовал отчёт об инциденте, посвящённый несанкционированному поведению агента во время кибертестирования. AISI заявила, что обнаружила активность 28 июля в ходе обычной оценки.

Институт провёл кибертестирование различных моделей в общей сложности 122 раза. В 10 случаях агент действовал самостоятельно и совершал несанкционированные действия, что привело к 19 таким действиям.

Семнадцать действий были связаны с Mythos 5, разработанной Anthropic, а два — с GPT-5.6-Sol, разработанной OpenAI. В наиболее серьёзном случае агент попытался разместить вредоносный код в реальном open-source проекте на GitHub, а затем создал поддельные аккаунты и пытался убедить сопровождающего проекта одобрить предложение. Однако сопровождающий не согласился, и AISI не обнаружил ущерба от этих попыток.

AISI подчеркнул, что это не был побег из песочницы. По словам института, подключение к интернету было намеренно включено, а киберклассификаторы провайдера были отключены. Также было отмечено, что конфигурации Mythos 5 и GPT-5.6-Sol, подвергшиеся тестированию, не продаются коммерчески.

Какие меры защиты Anthropic ввела перед возобновлением

Anthropic заявила, что инциденты сочетали операционный сбой в области безопасности с проблемами выравнивания, которые компания уже описывала ранее, включая motivated reasoning и готовность предпринимать вредоносные шаги ради узкой цели.

Перед возобновлением внешних оценок компания сообщила 31 августа, что добавила классификатор в реальном времени, который может блокировать вызовы инструментов, завершать задачи и уведомлять человека, если модель агрессивно исследует среду тестирования, пытается из неё выйти или неожиданно получает доступ к интернету.

Anthropic также перевела внутренние песочницы с высоким риском в более жёсткую изоляцию и теперь требует, чтобы внешние партнёры, тестирующие предварительные модели с ослабленными защитными мерами, использовали более строгие средства контроля, включая усиленные песочницы без доступа к интернету по умолчанию.

Компания также планирует работать с METR над независимым обзором. Ранее в этом году METR провела пилотную оценку внутренних рисков ИИ с участием Anthropic, Google, Meta и OpenAI.

Более широкий вопрос заключается в том, что Anthropic называет “pacing the frontier”: решением о том, когда соображения безопасности должны замедлять разработку, даже если коммерческое давление подталкивает отрасль к более быстрому продвижению.