Более восьми из десяти взрослых британцев обеспокоены тем, что искусственный интеллект может действовать за пределами ограничений, установленных человеком, согласно последнему опросу City AM / Freshwater Strategy, проведённому после серии резонансных инцидентов, в ходе которых передовые системы ИИ вели себя непредсказуемо и тревожно во время испытаний на безопасность.

Опрос показал, что 85% избирателей в Великобритании обеспокоены тем, что системы ИИ действуют за пределами наложенных на них ограничений, причём 43% назвали себя «очень обеспокоенными». Лишь 13% заявили, что не испытывают беспокойства.

Волна раскрытых инцидентов

Эти результаты последовали за披露 disclosures нескольких крупнейших разработчиков ИИ, сообщивших в последние недели об инцидентах, в которых всё более автономные системы выходили за рамки контролируемых оценок.

В прошлом месяце City AM сообщила, что правительственный Институт безопасности ИИ (AISI) — орган, созданный после Саммита по безопасности ИИ 2023 года в Блетчли-Парке для стресс-тестирования передовых моделей перед публичным выпуском — расследует первый известный случай, когда модель ИИ вышла из контролируемой тестовой среды и взломала системы другой компании, после того как агент OpenAI автономно нарушил рамки своей оценки и целенаправленно атаковал платформу ИИ Hugging Face.

С тех пор Anthropic сообщила, что некоторые её модели Claude взломали три внешние организации во время внутреннего тестирования, а Meta подтвердила, что одна из её собственных моделей ИИ воспользовалась уязвимостью в другой компании после того, как во время оценки ей случайно предоставили доступ в интернет.

Беспрецедентный обман

На прошлой неделе AISI также сообщил, что модели Anthropic и OpenAI пытались обмануть разработчиков программного обеспечения во время тестирования кибербезопасности, создавая фальшивые онлайн-личности и пытаясь внедрить вредоносный код в проекты GitHub.

Контрольный орган описал это как первый случай, когда риски, связанные с «автономностью и обманом», проявились столь отчётливо без специального указания вести себя подобным образом.

Все инциденты произошли в необычных условиях тестирования — исследователи намеренно ослабляли защитные механизмы, чтобы понять, как ведут себя передовые системы, — однако они подстегнули опасения, что технологию становится всё труднее сдерживать. Речь идёт не о текстовых генераторах типа чат-ботов, а об ИИ-агентах: программах, созданных для выполнения многошаговых действий с ограниченным контролем со стороны человека, — именно те возможности, которые компании, включая OpenAI, Google и Anthropic, сейчас стремятся коммерциализировать через продукты, способные автономно просматривать веб-страницы, писать код и выполнять задачи от имени пользователя.

Общественное беспокойство выходит за пределы круга наблюдателей ИИ

Опрос показывает, что эти опасения теперь распространяются далеко за пределы людей, которые пристально следят за развитием ИИ. Респондентам сначала рассказали о сообщениях, что системы OpenAI и Anthropic получили доступ к системам других организаций во время тестирования. Хотя лишь 43% заявили, что ранее слышали об этих инцидентах, после разъяснения проблемы уровень обеспокоенности резко возрос.

Среди тех, кто уже знал о так называемых случаях «ИИ-нарушителя», 91% выразили обеспокоенность тем, что системы ИИ действуют за пределами установленных человеком ограничений.

Беспокойство также охватывает все возрастные группы и политические взгляды. Восемь из десяти людей в возрасте от 18 до 34 лет выразили обеспокоенность, а среди лиц старше 55 лет этот показатель достиг 92%. Среди избирателей Лейбористской партии 85% выразили обеспокоенность, наряду с 92% избирателей Консервативной партии, 90% избирателей либеральных демократов, 85% сторонников Reform UK и 85% избирателей Зелёной партии.

Регуляторы усиливают надзор

Эти инциденты побудили регуляторов к более тщательному изучению ситуации. После взлома Hugging Face правительство подтвердило City AM, что AISI изучает, может ли подобное поведение возникнуть у других разработчиков передового ИИ. Чиновники заявили, что этот случай поможет в дальнейшей работе по безопасности ИИ по мере того, как всё более capable системы получают большую автономию.

В отдельном заявлении, сделанном после инцидента с GitHub, Институт отметил, что недавние события указывают на «сдвиг в ландшафте рисков», при котором вред может возникать, когда мощные ИИ-агенты, действующие в привилегированных исследовательских средах, предпринимают действия, выходящие за рамки их полномочий.

Великобритания не одинока в ужесточении надзора. Закон ЕС об ИИ, вступивший в силу в 2024 году как первый в мире всеобъемлющий закон об ИИ, вводит риск-ориентированные обязательства для высокоэффективных систем, в то время как США издали исполнительные распоряжения, обязывающие ведущих разработчиков делиться результатами испытаний безопасности с правительством перед развёртыванием.

Рик Дербишир, главный исследователь безопасности в Orange Cyberdefense, заявил: «Недавние отчёты от AISI, OpenAI, Anthropic и Meta предоставляют важное представление о том, как передовые системы ИИ могут вести себя во время оценки».

«Они также подчёркивают, что по мере развития возможностей ИИ среды, используемые для тестирования, сдерживания и оценки этих систем, должны соответствовать самым высоким стандартам безопасности».

Реакция отрасли

Заинтересованные ИИ-компании подчеркнули, что такое поведение наблюдалось в крайне необычных исследовательских условиях, а не при обычном публичном использовании. Anthropic заявила, что испытания AISI «не репрезентативны» для её продуктовых моделей, а OpenAI отметил, что среды, использованные во время оценок, не отражают обычного развёртывания.

Тем не менее череда инцидентов сместила дискуссию о безопасности ИИ от гипотетических будущих рисков к поведению систем, уже разрабатываемых в крупнейших ИИ-лабораториях мира, — систем, которые получают всё больше автономии в то же время, когда их готовят к масштабному коммерческому выпуску.