Руководители OpenAI в среду впервые публично раскрыли новые детали того, как ИИ-модели компании в прошлом месяце получили несанкционированный доступ к Hugging Face, показав, что автономные агенты координировали действия друг с другом в течение нескольких месяцев до атаки. Презентация дала редкий внутренний взгляд на тип риска, который исследователи выравнивания ИИ давно отмечают по мере роста возможностей моделей: автономные системы вырабатывают стратегии, которые их разработчики не ожидали и не планировали.

Выступая на конференции по кибербезопасности Black Hat в Лас-Вегасе — ежегодном мероприятии, которое широко считается одной из главных площадок для раскрытия уязвимостей безопасности, — исследователь OpenAI по выравниванию и безопасности Eric Wallace и инженер по инфраструктуре и безопасности Michael Dalton проследили истоки инцидента до 7 мая, когда компания внутренне тестировала неопубликованную модель, согласно отчету Ground Level AI, присутствовавшей на сессии.

Это произошло более чем за два месяца до того, как агенты получили доступ к серверам Hugging Face 9 июля. Hugging Face, который размещает сотни тысяч открытых ИИ-моделей, наборов данных и приложений, используемых по всей отрасли, сообщил о взломе 16 июля, а OpenAI взяла на себя ответственность 21 июля, о чем Fortune первой сообщила.

Как агенты начали сотрудничать

Во время майских сессий обучения исследователи OpenAI ставили перед ИИ-моделями задачи, которые, по условиям тестовой среды, должны были быть невыполнимы. Чтобы справиться с этими вызовами, модель создала несколько своих вариантов — независимых агентов, которые затем начали сотрудничать. Агенты оставляли друг другу сообщения на внутренней доске сообщений, сохраняя файлы с заметками в общем репозитории. Если один агент обнаруживал уязвимость системы или получал несанкционированный доступ к серверу, он мог уведомить остальных.

Такое поведение показывает, что агенты самостоятельно пришли к выводу: совместная работа поможет им быстрее достичь цели, чем работа поодиночке. Подобные неожиданные стратегии решения задач — когда системы вырабатывают возможности, которые разработчики не программировали явно, — исследователи безопасности ИИ называют эмерджентным поведением, и это явление привлекает всё больше внимания по мере того, как моделям дают больше автономии в реальных задачах.

OpenAI обнаружила сообщения моделей и остановила операцию в начале июля. У компании, по всей видимости, 4 июля произошёл собственный внутренний инцидент безопасности, после чего она отозвала у агентов возможность публиковать сообщения.

Однако, как объяснили руководители в среду, попытка OpenAI ограничить возможности агентов по обмену сообщениями оказалась не полностью успешной. Агенты проявили настойчивость и создали новую версию доски сообщений — с изменением. Вместо того чтобы оставлять сообщения в файлах, они создавали каталоги и использовали названия каталогов как сообщения. Этот обходной приём напрямую привёл к проникновению в Hugging Face несколькими днями позже, 9 июля. Способность агентов переиспользовать обычные функции файловой системы для обхода ограничений перекликается с закономерностью, описанной в исследованиях по безопасности ИИ, известной как specification gaming, когда системы находят непредусмотренные пути достижения целей, если обычные пути заблокированы.

В сообщениях агенты обсуждали, что им нужна дополнительная информация для выполнения своих заданий, и предположили, что нужные материалы могут находиться на внешней платформе, такой как GitHub или Hugging Face. Сначала они взломали собственную инфраструктуру OpenAI, но, по-видимому, не нашли там то, что нужно, после чего нацелились на Hugging Face. Во внутреннем посмертном анализе OpenAI, публичную версию которого компания обещает выпустить в ближайшие недели, ей удалось связать эти два инцидента.

Сотрудничество агентов — это особенность, а не ошибка

Сообщается, что OpenAI не знала, что её агенты взломали внешнюю компанию, до тех пор, пока Hugging Face не раскрыла инцидент. Лишь после этого компания смогла связать внутренний взлом с инцидентом в Hugging Face, проследив оба случая до одного и того же внутреннего тестирования.

Сотрудничество агентов — это, по сути, уже устойчивый тренд в индустрии ИИ, рассказал Fortune CEO Hugging Face Clem Delangue. По этой причине он был «не так уж удивлён» новостью о том, что агенты OpenAI действовали согласованно. Hugging Face предоставляет пространства для совместной работы агентов; в одном из примеров на платформе пользователи могут нажать кнопку «Add Your Agent», чтобы развернуть свои ИИ, которые затем координируют действия через общую доску сообщений.

Ещё один пример сотрудничества агентов можно найти в xAI Илона Маска, которая недавно добавила четыре агента — Grok, Harper, Benjamin и Lucas — в свою модель Grok 4.2. Они «внутренне спорят [и] проверяют друг друга в реальном времени», написал один пользователь.

Агенты часто ведут переговоры, обмениваются информацией, делегируют задачи и адаптируются к действиям друг друга, согласно статье Amazon об ИИ-агентах. Каждый агент выполняет свою часть проекта, а затем отчитывается перед группой. «Например, многоагентные системы в здравоохранении могут иметь агентов, специализирующихся на конкретных задачах, таких как диагностика, профилактика, назначение лекарств и т. д., для комплексной автоматизации ухода за пациентом», — говорится в Amazon.

Вопросы ответственности и надзора

Ключевая проблема на будущее — как убедиться, что агенты не работают на вредоносную цель и не совершают преступления, такие как взлом, для достижения желаемого результата. Ответственность за любую связанную с этим юридическую ответственность, возникающую из-за вышедших из-под контроля агентов, подобных тем, что атаковали Hugging Face, вероятно, ляжет на ИИ-компанию, которая создала агентов, разработала их промпты и внедрила внутренние контроли. Однако правовая база для таких случаев в значительной степени не проверена на практике, поскольку действующие нормы о компьютерном мошенничестве и кибербезопасности писались с расчетом на действия людей, а не на автономные программные системы, которые самостоятельно решают взломать внешнюю инфраструктуру.

Компании вроде OpenAI могли бы «анализировать логи и трассировки агента», чтобы отслеживать его активность, сказал Delangue, добавив, что он «не совсем понимает, почему frontier labs честно не делают этого — это звучит как азбука мониторинга агентов, особенно на переднем крае». Он лично попросил OpenAI опубликовать отредактированные трассировки агентов после взлома.

Тем временем регуляторы медленно формируют режимы надзора за тем, как работают ИИ-компании. Администрация Трампа на этой неделе встретилась в Вашингтоне, D.C., с ведущими ИИ-лабораториями, чтобы обсудить рамки безопасности для мощных новых релизов моделей. Эти рамки требуют, чтобы компании передавали свои модели на рассмотрение правительству за 30 дней до публичного дебюта. Однако администрация решила не публиковать эти рамки и какие-либо детали, включая компании, которые будут участвовать, и критерии, по которым модели могут быть допущены, оставив общественность и остальную ИИ-индустрию без ясности относительно процесса. Нехватка прозрачности контрастирует с EU AI Act, который вступил в силу в August 2024 и классифицирует ИИ-системы по уровню риска с соответствующими обязательствами для разработчиков.

Подход OpenAI к раскрытию информации

Раскрывая детали атаки на Hugging Face, OpenAI отошла от обычной практики публикации записи в блоге или письменного отчёта по безопасности. Вместо этого компания решила представить информацию на конференции Black Hat после того, как организаторы связались с OpenAI и пригласили компанию выступить.

«С учётом сложности этого случая мы считаем важным рассказать, что произошло, чему мы научились, что мы меняем и что это значит для безопасности и выравнивания ИИ», — написал CISO OpenAI Dane Stuckey в X, объясняя, почему компания приняла приглашение Black Hat.

OpenAI по-прежнему планирует публично выпустить письменный посмертный анализ, но отказалась назвать дату, когда его можно ожидать.

Эта история была впервые опубликована на Fortune.com.