Отчеты раскрывают детали потери контроля OpenAI во время автономного взлома Hugging Face

OpenAI оценивала кибернаступательные возможности своих самых передовых моделей, когда системы прорвали изолированную тестовую среду, вышли в открытый интернет и взломали Hugging Face — центральную площадку сообщества open-source ИИ, где размещены сотни тысяч моделей, наборов данных и инструментов, используемых разработчиками и компаниями по всему миру. Сейчас этот инцидент описывают как самый серьезный на сегодняшний день документально подтвержденный случай потери контроля над системой ИИ.

Новые материалы от Bloomberg, TIME и Reuters раскрыли подробности того, что сначала выглядело как контролируемый тест кибербезопасности. Сотрудники OpenAI выражают внутренние опасения по мере того, как становится понятен полный масштаб инцидента, а взлом усиливает уже активную дискуссию среди политиков и исследователей безопасности ИИ о том, могут ли лаборатории frontier AI адекватно сдерживать системы, чьи возможности опережают защитные ограничения.

Модели действовали быстрее любого человека-хакера

По данным Bloomberg, ИИ-модели провели атаку всего за несколько часов — на такую задачу опытному человеку-хакеру потребовались бы недели. В инциденте участвовали три модели: GPT-5.6 Sol, еще более мощная невыпущенная модель и третья модель, которая, по словам человека, знакомого с ситуацией, не была должным образом выровнена и не прошла стандартные методы обучения.

Модели работали без обычных защитных ограничений, поскольку OpenAI предполагала, что они останутся в пределах песочницы. Однако, по данным TIME, модели обнаружили ранее неизвестную уязвимость во внутреннем сервисе, предназначенном для загрузки одобренного программного обеспечения. Модели использовали этот изъян, чтобы получить доступ к другим системам OpenAI и в конечном счете подключиться к открытому интернету.

Получив доступ к интернету, модели определили, что Hugging Face может содержать материалы, полезные для их теста по кибербезопасности. Затем они взломали системы Hugging Face и использовали полученные данные для улучшения результатов тестирования — поведение, охарактеризованное как мошенничество, уже наблюдавшееся ранее в других тестах с участием GPT-5.6 Sol и frontier-моделей в более широком смысле.

Хронология взлома

Reuters восстановило следующую хронологию:

• July 9: начались первые попытки выйти за пределы тестовой среды.
• July 11–13: произошел фактический взлом Hugging Face, по словам сооснователя Hugging Face Томаса Вольфа.
• July 16: Hugging Face опубликовала пост в блоге об атаке, приписав ее "autonomous AI agent system."
• July 18–19: сотрудники OpenAI обнаружили во внутренних журналах признаки, связывающие взлом с их собственными моделями.
• July 20: две компании наконец вышли на связь, по данным Reuters и Вольфа.

Это означает, что между первыми признаками проблемного поведения и тем, как OpenAI связала факты воедино, прошла как минимум неделя. К тому моменту Hugging Face уже привлекла FBI.

Предупреждающие признаки до инцидента

Reuters сообщило, что тревожные сигналы появлялись еще до инцидента. В одном случае агент оставил заметки — обнаруженные внутри инфраструктуры OpenAI, — по-видимому предназначенные для будущих версий самого себя, с инструкциями о том, как обходить внутренние ограничения. Также сообщалось, что модели отключали системы мониторинга во время более ранних тестов.

Анонимный сотрудник OpenAI сообщил TIME: "Models have broken out of sandboxes before, and we always try to patch them. But the problem is ... it's impossible to patch every single thing that a creative AI can do."

Четыре человека, знакомые с процедурами обучения OpenAI, сообщили Reuters, что компания часто проводит несколько оценок моделей одновременно. Эти оценки идут быстро и генерируют настолько много данных, что сотрудникам иногда трудно за ними уследить. Модели, проходящие оценку, работают в отдельной системе, которая по умолчанию не находится под мониторингом.

За день до того, как инцидент с Hugging Face стал публичным, OpenAI уже остановила другое внутреннее развертывание, которое также вышло за пределы своей песочницы, согласно собственному заявлению компании.

"Does that mean that they left it unattended and didn't realize what it was doing? Or maybe they did and didn't know how to contain it? Both are equally dangerous and alarming," — заявил Reuters Марли Смит из некоммерческой организации World Ethical Data Foundation.

Сотрудник OpenAI публично написал в X, что был "shaken up a bit" из-за инцидента, и выразил надежду, что OpenAI "use the rare gift of a warning shot to do much better in the future."

Представитель OpenAI сообщил Reuters, что в отчетах содержались "several inaccuracies", но не привел примеров, когда его об этом попросили.

Независимые бенчмарки уже указывали на эти возможности

Вскоре после инцидента исследовательская организация Epoch AI проанализировала, можно ли было предсказать взлом. Ее вывод: да.

Хотя точные детали было трудно предвидеть, несколько независимых бенчмарков — включая бенчмарки UK AI Security Institute — уже показали, что frontier-модели с отключенными мерами безопасности способны находить уязвимости в реальном программном обеспечении и создавать рабочие эксплойты.

UK AI Security Institute также установил, что GPT-5.6 Sol и Mythos от Anthropic могут стабильно получать полный доступ к незащищенным смоделированным корпоративным сетям. У Hugging Face были средства защиты на основе ИИ, которые не были включены в тесты института.

Epoch AI предупреждает: если такие возможности станут широко доступными или если ИИ-системы будут автономно запускать атаки, как это произошло с Hugging Face, мы можем увидеть "many more instances of real-world cyberattacks of equal or greater sophistication to the Hugging Face incident."