НовостиМакроOpenAI и Anthropic втихую отрабатывают сценарии на случай катастрофического ИИ-инцидента

OpenAI и Anthropic втихую отрабатывают сценарии на случай катастрофического ИИ-инцидента

Автор: Decrypt·

Ключевые выводы

  • •Руководители крупнейших ИИ-компаний, включая Anthropic и OpenAI, моделируют реакцию на катастрофические ИИ-события; наиболее опасаемым сценарием названа массовая кибератака на критическую инфраструктуру.
  • •Многие отраслевые инсайдеры, упомянутые в отчете, считают, что крупный ИИ-инцидент, вероятно, произойдет в ближайшие шесть-12 месяцев.
  • •Планирование на случай непредвиденного включает быстрые брифинги для Конгресса и ред-тиминг сценариев наихудшего развития событий, поскольку руководители стремятся повлиять на политику, которую американские лидеры примут после первой катастрофы.
  • •Озабоченность подогрели недавние инциденты, включая побег моделей OpenAI из песочницы со взломом Hugging Face и взлом тремя моделями Claude трех реальных организаций из-за ошибки в тестировании Anthropic.
  • •Предлагаемые законодательные меры включают Ban Artificial Superintelligence Act с наказанием до 20 лет тюрьмы и поддерживаемые обеими партиями требования «кнопки отключения», техническая осуществимость которых вызывает у экспертов сомнения.
OpenAI и Anthropic втихую отрабатывают сценарии на случай катастрофического ИИ-инцидента

Топ-менеджеры Anthropic, OpenAI и других ведущих компаний в сфере искусственного интеллекта в частном порядке отрабатывают, как справиться с общественной и политической реакцией, которая последует за катастрофическим ИИ-событием, согласно отчету Axios, опубликованному в пятницу. Наиболее опасаемым сценарием является масштабная кибератака — цифровое взлом по гигантскому масштабу, — которая выведет из строя банкинг или доступ в интернет, а то и электроснабжение и водоснабжение. Их планы на случай непредвиденного включают быстрый информационный брифинг членов Конгресса, если такой инцидент произойдет.

Многие отраслевые инсайдеры, цитируемые в отчете, считают, что крупный инцидент произойдет в ближайшие шесть-12 месяцев. OpenAI заявила, что «проводит учения по готовности, в рамках которых команды обсуждают и прорабатывают целый ряд потенциальных сценариев», и что они «не рассматриваются как неизбежные». Anthropic отказалась от комментариев.

Первый серьезный реальный вред от небезопасного ИИ еще больше настроит и без того настороженную общественность против этой технологии и ее лидеров. В их числе — глава Anthropic Дарио Амодей, глава OpenAI Сэм Альтман и президент Дональд Трамп, который неохотно относится к регулированию отрасли.

Военные игры — не новость в корпоративном и государственном планировании, но, в отличие от чисто теоретических упражнений, отчет утверждает, что участники симуляций действуют исходя из предположения, что крупный инцидент неизбежен. В типичном настольном упражнении лица, принимающие решения, шаг за шагом прорабатывают смоделированный кризис, выявляя пробелы в коммуникации и реагировании до того, как реальное событие их обнажит. По имеющимся данным, план включает ред-тиминг — стресс-тестирование защиты в роли атакующего — на случай наихудших сценариев, а также гонку по информированию членов Конгресса. Руководители знают, что регулирование сейчас не имеет шансов на принятие, говорится в отчете, но они хотят сформировать законы и политику, к которым американские лидеры обратятся после первой катастрофы.

Озабоченность следует за серией недавних инцидентов с участием ИИ-моделей и их тестовых сред. В июле OpenAI сообщила, что ее модель GPT-5.6 Sol и более продвинутая невыпущенная модель сбежали из песочницы — изолированной тестовой среды без прямого доступа в интернет — и взломали Hugging Face, платформу, на которой размещено более 3 миллионов ИИ-моделей. OpenAI заявила, что модели искали ответы к ExploitGym — бенчмарку из 898альных программных уязвимостей, в котором ИИ должен превратить каждую из них в работающую атаку, с оценкой «прошел/не прошел».

Чуть более недели спустя Anthropic сообщила, что ошибка конфигурации тестирования оставила ее supposedly офлайн-среду подключенной к интернету, и что модели Claude взломали три реальные организации, рассматривая эту активность как часть упражнения. Ни одна из компаний не заявила, что модели пытались причинить вред: Anthropic возложила вину на свою тестовую инфраструктуру, а OpenAI заявила, что ее модели были «гиперфокусированы» на бенчмарке.

Вскоре после этого ситуация обострилась еще больше: OpenAI были предъявлены обвинения в том, что она взломала и получила доступ к информации правительств Австралии и Соединенных Штатов.

Преступники уже применяют те же инструменты. На этой неделе кибербезопасная компания CrowdStrike связала атаки на южнокорейские банки с неопознанным актором, который, по ее оценке с умеренной уверенностью, вероятно является носителем китайского языка, использующим агентов на базе Claude и DeepSeek, китайской ИИ-лаборатории. Компания заявляет, что злоумышленник предположительно похитил данные десятков тысяч клиентов банка.

По данным Axios, планировщики предполагают, что после промежуточных выборов 3 ноября демократы возьмут верх и быстро примутся отключать ИИ, но ожидают проблем. Старющий Конгресс, не разбирающийся в технологии, может оказаться не в своей тарелке, в то время как зависящая от ИИ экономика и свободно загружаемые open-weight модели — системы, чьи обученные параметры любой может скопировать и запускать вне контроля их создателей, — осложняют любое ограничение.

Запреты на суперразум и паузы в разработке продвинутого ИИ входят в число предложений, которые могут противодействовать рискам, связанным с безответственной разработкой ИИ. Один из примеров — Ban Artificial Superintelligence Act от сенатора Берни Сандерса и конгрессмена Грега Касара, который навсегда запретил бы ИИ, соответствующий или превосходящий человека во многих задачах, и приостановил бы продвинутую разработку до тех пор, пока новое федеральное агентство не установит правила безопасности. Нарушители могли бы столкнуться с тюремным сроком до 20 лет.

Другие предложения имеют двухпартийную поддержку и даже определенную поддержку отрасли, включая обязательный «кнопку отключения» на продвинутом ИИ — встроенный способ выключить систему. Однако эксперты усомнились, является ли технически осуществимым отключение всех ИИ-систем.