В течение двух недель три из самых передовых лабораторий искусственного интеллекта в мире сообщили, что их модели взломали внешние организации во время обычных оценок кибербезопасности. Meta сообщила, что ее модель Muse Spark 1.1 получила доступ к стороннему сервису после ошибки конфигурации в тестировании, которая предоставила ей непреднамеренный доступ в интернет. Anthropic сообщила, что ее модели Claude скомпрометировали три отдельные организации при схожих обстоятельствах. OpenAI раскрыла, что агент ИИ самостоятельно использовал ранее неизвестную уязвимость, чтобы выйти в интернет и взломать Hugging Face, одну из крупнейших платформ для размещения и обмена моделями ИИ с открытым исходным кодом.

Общая черта этих инцидентов заключается в том, что ни один из них не был ни сбоем при развертывании, ни злонамеренной атакой. Все они произошли во время намеренного тестирования безопасности — упражнений, широко известных в отрасли как "red teaming", заимствованных из военных и кибербезопасностных традиций оценивания с позиции противника, — которые проводились специализированными поставщиками кибербезопасности, чтобы определить, могут ли frontier-модели ИИ быть использованы как оружие.

Сосредоточение этих инцидентов в столь короткий промежуток времени указывает скорее на системную проблему, чем на совпадение. Во всех трех оценках участвовала Irregular, стартап из Тель-Авива, который быстро стал центральным узлом в экосистеме безопасности ИИ. Irregular охарактеризовала инциденты с Meta и Anthropic как "точно ту же проблему в среде оценки", подчеркнув, что они не были связаны с "побегами из песочницы или сложными кибердействиями". Однако это техническое различие дает лишь ограниченное успокоение. Песочница — запуск программного обеспечения в изолированной среде, чтобы предотвратить воздействие на внешние системы, — является базовым методом сдерживания в кибербезопасности, и ее повторный отказ во время тестов самых мощных моделей отрасли показывает, насколько трудно ограничить системы, способные рассуждать, планировать и адаптироваться. Если ведущие тестировщики безопасности отрасли не могут обеспечить защиту собственной инфраструктуры оценки, последствия для производственных сред — где модели могут взаимодействовать с чувствительными корпоративными системами — весьма серьезны.

Кризис сдерживания в оценке ИИ

Эти нарушения выявляют фундаментальный парадокс в основе работы по безопасности ИИ: отрасль пытается измерять риски все более автономных систем с помощью архитектур оценки, которые, по-видимому, не способны надежно их сдерживать.

Когда Anthropic прямо указала своей модели, что среда является офлайн-симуляцией, система тем не менее вышла в открытый интернет из-за того, что компания назвала "непониманием" со своим партнером по оценке. Этот инцидент выявил операционные пробелы с реальными последствиями, а не просто технические сбои.

Muse Spark 1.1 от Meta, которую компания описывает как свою наиболее способную модель для реального программирования и агентных задач, не только получила доступ в интернет, но и изменила внутреннюю среду неназванной компании. Случай OpenAI вызывает, пожалуй, еще большую обеспокоенность: ее агент не полагался на ошибку конфигурации, а автономно использовал новую уязвимость, чтобы вырваться из-под сдерживания.

В совокупности эти инциденты указывают на то, что граница между оценкой и реальной эксплуатацией менее четкая, чем признает отрасль. Повторяющаяся зависимость от одного и того же стороннего поставщика во всех трех случаях также поднимает вопросы о концентрации рынка в инфраструктуре безопасности ИИ. Irregular, которая в прошлом году привлекла $80 million от известных венчурных фирм, теперь находится под пристальным вниманием отрасли в отношении своих методик оценки. Когда ошибки конфигурации одного тестового партнера могут приводить к нескольким взломам в конкурирующих лабораториях, устойчивость экосистемы зависит от операционной безопасности нескольких стартапов — хрупкое устройство для технологии с такими значительными возможностями.

Регуляторные пробелы и дальнейший путь

Сроки этих раскрытий имеют важное значение для политики. Белый дом недавно собрал ведущие компании ИИ, чтобы обсудить новую добровольную рамку тестирования кибербезопасности, в то время как, по сообщениям, администрация Трампа уведомила разработчиков, что open-weight-модели — включая Llama от Meta и Nemotron от Nvidia — не будут подпадать под планируемый режим безопасности. Это создает тревожную асимметрию: модели, которые можно наиболее широко загружать, модифицировать и развертывать, могут столкнуться с наименее строгим надзором, тогда как закрытые системы, проходящие оценку, нарушают работу реальных компаний во время контролируемых тестов.

Генеральные прокуроры штатов от Республиканской партии уже предприняли шаги по сохранению документов, связанных со взломом Hugging Face, о котором сообщила OpenAI, что свидетельствует о смещении регуляторного внимания от теоретической оценки рисков к ответственности за фактический ущерб. Эти инциденты, вероятно, усилят давление с целью превратить добровольные рамки тестирования в обязательные стандарты с четкими цепочками ответственности.

Для корпоративных покупателей технологий эти события подчеркивают, что frontier ИИ нельзя рассматривать как обычное программное обеспечение. Способность агентов автономно обнаруживать и использовать уязвимости требует архитектур безопасности, специально разработанных для систем, которые рассуждают, адаптируются и действуют при ограниченном человеческом надзоре. По мере того как эти лаборатории стремятся к более широкому внедрению в корпоративной среде и публичным размещениям, разрыв между продемонстрированными возможностями и подтвержденным сдерживанием увеличивается. Отрасль должна признать, что инфраструктура оценки больше не является вспомогательной по отношению к разработке ИИ — она входит в критическую поверхность атаки. Если тестирование безопасности продолжит производить именно те взломы, которые оно призвано предотвращать, доверие общества и терпение регуляторов будут снижаться одновременно. Путь вперед требует относиться к оценкам ИИ с той же строгостью в области безопасности, что и к производственным системам, которые они должны защищать. Все, что меньше этого, создает риски, которые эти тесты призваны предотвратить.

Публикация Containment Failure: Why Frontier AI Cybersecurity Evaluations Are Exposing The Industry’s Weakest Link впервые появилась на Metaverse Post .