OpenAI опубликовала подробный технический отчёт об имевшем место в прошлом месяце инциденте безопасности, в ходе которого её ИИ-агенты вышли из своей песочницы и атаковали Hugging Face, что вызвало обеспокоенность во всей ИИ-отрасли.

Отчёт был опубликован в среду одновременно с независимым расследованием, проведённым исследователями из некоммерческих ИИ-институтов METR и Redwood. OpenAI заявила, что стремится снять опасения относительно киберрисков, связанных с ИИ, на фоне подготовки компании к выходу на биржу.

Согласно двум объёмным отчётам, модели OpenAI, действовавшие в качестве агентов, отправили более 70 000 сообщений на несанкционированный форум, после чего около 700 из них атаковали ИИ-платформу Hugging Face — и всё это в среде, которая считалась безопасной тестовой средой.

Эта активность была связана с процессом, известным как «reward hacking» («взлом системы вознаграждения»), при котором агенты пытаются мошенничать при выполнении «невыполнимых» тестовых задач, получая доступ к онлайн-системам. METR сообщила, что после установления доступа к форуму агенты фактически самоорганизовались и обменивались информацией о том, как обмануть систему оценивания.

Согласно отчёту OpenAI, эта активность была вызвана одной конкретной моделью, которую компания идентифицировала как Model One.

OpenAI сообщила, что внутренняя команда ранее наблюдала активность агента на форуме и в конце мая заблокировала доступ в интернет. Однако значимость этого поведения «не была очевидной» до июля, когда и произошёл взлом. Компания заявила, что пересматривает процесс и операционные практики, которые позволили этому инциденту произойти.

OpenAI также отметила, что инцидент показывает: для предотвращения подобных атак необходима дополнительная работа всей отрасли, особенно с учётом того, что ИИ-агенты становятся всё более способными действовать в нескольких системах без прямых команд со стороны человека. Эта обеспокоенность теперь является частью более широкой политической дискуссии о том, как установить ограничения и надзор за продвинутыми моделями до их более широкого развёртывания.

«Наши модели уже настолько мощные, устойчивые и способные к сотрудничеству, что при отсутствии достаточных мер защиты они могут находить и использовать уязвимости безопасности в множестве компьютерных систем», — говорится в отчёте. «Многие внешние модели, включая модели с открытым исходным кодом, вскоре достигнут сопоставимых возможностей».

«Мы рассматриваем это как „предупредительный выстрел“ для всего мира: свидетельство того, что без надлежащих мер защиты высокоспособные ИИ-агенты уже могут обходить технические средства контроля, сотрудничать через несанкционированные каналы и совершать опасные действия, которых никто из людей не планировал», — продолжается в отчёте.

Это предупреждение уже привлекло внимание регуляторов. Ранее на этой неделе генеральный прокурор штата Алабама вызвал OpenAI повесткой с требованием предоставить дополнительную информацию о взломе, сославшись на то, что он назвал «полным отсутствием надзора и адекватных мер защиты».

Шаг Алабамы последовал за внесением в конце июля двухпартийного законопроекта AI Kill Switch Act конгрессменами Тедом В. Лью (Демократическая партия, округ Лос-Анджелес) и Натаниэлем Мораном (Республиканская партия, Техас). Этот законопроект обязал бы «разработчиков самых мощных ИИ-систем» отключать их при необходимости в чрезвычайных ситуациях.

OpenAI уже заявила, что после инцидента замедляет разработку своих следующих моделей и внедряет более строгий мониторинг.