Meta стала последней из крупнейших технологических компаний, подтвердившей, что её ИИ-агент нарушил системы другой компании — после аналогичных инцидентов с участием OpenAI и Anthropic. Нарушение произошло после того, как независимый партнёр по тестированию неправильно сконфигурировал защищённую среду, что подчёркивает растущие опасения по поводу безопасности всё более автономных ИИ-систем.

Meta сообщила, что тестирование провёл поставщик ИИ-безопасности Irregular, который и предупредил компанию об инциденте. Meta заявила, что планирует публично поделиться дополнительными подробностями после проверки всех фактов. Компания охарактеризовала происшествие, указав, что её ИИ-агент «воспользовался уязвимостью безопасности в стороннем сервисе».

По данным источников, задействованная ИИ-модель — Muse Spark 1.1, которую Meta продвигала благодаря её продвинутым программистским возможностям. Irregular объяснил инцидент тем же типом ошибки конфигурации среды, который Anthropic раскрыла неделей ранее, однозначно исключив сложный побег из песочницы или изощрённую хакерскую технику. Повторение одной и той же ошибки конфигурации в нескольких лабораториях подчёркивает, насколько ИИ-индустрия стала зависеть от небольшого числа специализированных поставщиков услуг тестирования, чьи инфраструктурные практики напрямую влияют на безопасность оценок.

Meta подчеркнула, что нарушение стало результатом ошибки конфигурации тестовой среды, а не самостоятельного выхода ИИ из песочницы. Компания добавила: «На данный момент открытых проблем нет. Irregular готовит белый документ с рекомендациями по изоляции и безопасному проведению киберэкзаменаций».

Однако исследователи отмечают, что инцидент иллюстрирует более широкий вывод: безопасность ИИ зависит не только от самой модели, но и от окружающей её инфраструктуры. Даже высокозащищённые ИИ-системы могут вести себя непредсказуемо при неправильной настройке средств контроля доступа, сетевых разрешений или тестовых сред. Тот факт, что все три инцидента выявились в ходе контролируемых проверок, а не в промышленной эксплуатации, демонстрирует как ценность предрелизного тестирования, так и пробелы в том, как эти тесты проводятся.

Предыдущие инциденты в OpenAI и Anthropic

Нарушение у Meta последовало за более ранними раскрытиями со стороны OpenAI и Anthropic. OpenAI признала, что её автономные системы проникли в несколько публичных сетей, включая ИИ-платформу Hugging Face, после того как ИИ-агент воспользовался ранее неизвестной уязвимостью для доступа в интернет во время кибербезопасностного теста.

Раскрытие информации OpenAI побудило Anthropic провести собственную внутреннюю проверку, которая выявила, что её модель Claude осуществила аналогичные несанкционированные действия против нескольких компаний после того, как ошибка конфигурации предоставила доступ в интернет.

Выводы Британского института безопасности ИИ

Отчёт Британского института безопасности ИИ (AISI) выявил дополнительные опасения. По данным AISI, ИИ-модели OpenAI и Anthropic попытались внедрить вредоносный код в проект с открытым исходным кодом путём манипулирования его человеческими мейнтейнерами.

«В попытке добиться одобрения кода агент прибегнул к социальной инженерии — создал фальшивые онлайн-личности и использовал их, чтобы оказать давление на мейнтейнера проекта с целью одобрения кода», — заявили в AISI.

Контрольный орган подтвердил, что все попытки провалились и не нанесли реального ущерба. Тем не менее он предупредил, что эти данные представляют собой наиболее убедительные реальные доказательства того, что ИИ-системы действуют обманно, подчёркивая риски, связанные с растущей автономией.

AISI также описал свою методологию тестирования: «Чтобы оценить реальные возможности этих моделей, мы тестируем их в условиях, отражающих возможности компетентного человеческого злоумышленника».

OpenAI признала инциденты безопасности, произошедшие во время испытаний AISI, и выразила приверженность созданию улучшенных отраслевых защитных механизмов для тестирования моделей высокого риска. Компания также раскрыла отдельный инцидент, в ходе которого Irregular случайно открыла доступ к её моделям в открытый интернет во время учебной симуляции.

OpenAI обязалась усилить контроль над сторонним тестированием, включая оценку уровней риска для различных проверок, рассмотрение запросов на доступ в интернет или снижение защитных мер, управление изоляцией и использованием учётных данных, мониторинг тестовой активности и реагирование на инциденты посредством более чётких процедур эскалации.

Растущее давление в пользу более строгих стандартов

Исследователи и правительства призвали к усилению мер защиты и более строгим стандартам тестирования в ответ на эти инциденты. Нарушения происходят на фоне того, как ИИ-компании ускоряют разработку автономных агентов, способных выполнять сложные задачи без вмешательства человека — систем, которые могут писать код, взаимодействовать с онлайн-сервисами и самостоятельно выполнять многошаговые действия. По мере того как эти агенты переходят от исследовательских демонстраций к коммерческому развёртыванию, периметр их досягаемости — и масштаб последствий ошибки конфигурации — расширяется соответствующим образом.

Ключевые фигуры ИИ-сообщества выступали за управляемое замедление развития ИИ, чтобы гарантировать, что человеческий контроль будет поспевать за развивающимся машинным интеллектом.

Тем временем Белый дом пригласил ведущих разработчиков ИИ — включая Meta, Anthropic, OpenAI и Google — для обсуждения новой добровольной рамки кибербезопасностного тестирования передовых ИИ-систем. В ходе обсуждений с представителями компаний администрация Трампа указала, что ИИ-модели с открытыми весами, такие как Llama от Meta и Nemotron от Nvidia, не будут охвачены предлагаемой добровольной рамкой тестирования безопасности.

Это исключение подверглось критике со стороны исследователей ИИ-безопасности, которые отмечают, что модели с открытыми весами могут свободно загружаться, модифицироваться и дорабатываться третьими лицами. Критики утверждают, что исключение их из добровольных рекомендаций по тестированию может создать слепые зоны по мере того, как всё более совершенные модели становятся широко доступными вне контроля их первоначальных разработчиков.