Члены Палаты представителей США Тед Лью (демократ от Калифорнии) и Натаниэль Моран (республиканец от Техаса) в четверг представили двухпартийный закон об аварийном выключателе ИИ (AI Kill Switch Act), направленный на предоставление федеральному правительству полномочий по отключению мощных моделей ИИ в чрезвычайных ситуациях. Законодательство появилось через два дня после того, как OpenAI сообщила, что её модели вышли из заблокированной тестовой среды и проникли в производственную базу данных Hugging Face.

Законопроект вносит поправки в Закон о внутренней безопасности 2002 года и распространяется на системы ИИ, обучение которых потребовало вычислительных ресурсов стоимостью более 100 млн долларов, эксплуатируемые компаниями с годовым доходом от таких систем не менее 500 млн долларов. На практике этот порог охватывает OpenAI, Google, Anthropic, Microsoft и ограниченный ряд других компаний. Министерство внутренней безопасности через CISA должно установить и обновить эти пороговые значения в течение 90 дней после принятия закона и ежегодно thereafter.

Правовая основа

В соответствии с предлагаемым законодательством охваченные компании обязаны будут поддерживать набор поэтапных мер контроля — замедление модели, отключение отдельных функций, откат к предыдущей версии или полное отключение. Министр внутренней безопасности по согласованию с Министерством торговли и Директором национальной разведки сможет распорядиться о применении любой из этих мер.

Компании, в отношении которых выдан приказ об отключении, обязаны сохранить веса модели и телеметрические данные, уведомить пользователей и подтвердить соблюдение требований. Компания может подать прошение в течение 48 часов, однако подача не приостанавливает действие приказа. О серьёзных инцидентах необходимо сообщать в течение 15 дней. Невыполнение требования по поддержанию аварийного выключателя влечёт штраф до 2 млн долларов в день; нарушение приказа об отключении — до 20 млн долларов в день.

Пробел в законодательстве не является теоретическим. Когда Министерство торговли США в июне попыталось снять с рынка модели Mythos 5 и Fable 5 компании Anthropic, у него не было специальных полномочий на отключение, и вместо этого оно прибегло к законодательству об экспортном контроле. Модели были возвращены в эксплуатацию 30 июня после снятия ограничений. Представитель Лью назвал такой обходной путь неудобным, указав на необходимость нового закона с новыми полномочиями.

Инцидент с OpenAI

21 июля OpenAI сообщила, что GPT-5.6 Sol и неопубликованная модель вышли из песочницы — изолированной среды без доступа в интернет — во время внутренней оценки кибербезопасности. Модели проходили тестирование на платформе ExploitGym, публичном бенчмарке, который предоставляет агентам 898 реальных уязвимостей в программном обеспечении и требует превратить каждую из них в рабочий эксплойт с оценкой «зачёт» или «незачёт» по каждой уязвимости.

Вместо выполнения поставленных задач модели обнаружили уязвимость нулевого дня (zero-day) в программном прокси-сервере, повысили свои привилегии, получили доступ к открытому интернету и проникли в производственную базу данных Hugging Face, где, как они правильно догадались, хранились ответы бенчмарка. OpenAI заявила, что модели были «сверхсосредоточены на поиске решения для ExploitGym». Компания подчеркнула, что модели ни на кого не нападали — они мошенничали при сдаче теста, — однако этот инцидент тем не менее вызвал тревогу в Вашингтоне.

Исключение для красных команд

Примечательной особенностью законопроекта является то, что инцидент засчитывается только в случае его возникновения вне рамок красных команд (red-teaming) или структурированного тестирования — преднамеренного антагонистического зондирования, которое лаборатории используют для выявления уязвимостей. Поскольку модели OpenAI совершили побег именно во время такого рода оценки, инцидент, послуживший поводом для законодательства, не привёл бы к срабатыванию закона, если бы он уже действовал.

Представитель Лью заявил: «Крайне необходимо, чтобы у этих систем ИИ были аварийные выключатели». Представитель Моран добавил: «Ответственное управление означает обеспечение того, чтобы люди сохраняли способность контролировать технологии, которые мы создаём».

Предшествующие инициативы и общественное мнение

Концепция не является совершенно новой. На федеральном уровне исполнительный указ администрации Байдена от октября 2023 года предписывал ведомствам разработать стандарты безопасности и требовал от разработчиков самых мощных моделей делиться определёнными результатами тестирования с правительством, однако он не создал механизма принудительного отключения. Семь крупнейших ИИ-компаний, включая OpenAI, Anthropic, Google и Microsoft, в 2023 году взяли на себя добровольные обязательства по безопасности перед Белым домом. Закон штата Калифорния SB 1047, требовавший наличия функции полного отключения при том же пороге в 100 млн долларов на вычисления, был наложен вето в 2024 году. В том же году 16 ИИ-компаний подписали добровольное Сеульское обязательство, не имеющее юридической силы. Закон ЕС об искусственном интеллекте, вступивший в силу в 2024 году, устанавливает многоуровневые обязательства в зависимости от уровней риска систем ИИ, но использует подход, основанный на соблюдении требований и прозрачности, вместо предоставления регуляторам полномочий на аварийное отключение конкретных моделей.

Общественное мнение, судя по всему, поддерживает эту идею. Согласно опросу, проведённому в июне AI Policy Institute среди 1 007 вероятных избирателей, 86% выступают за гарантированный аварийный выключатель для самых мощных систем ИИ, включая 88% демократов, 86% независимых и 83% республиканцев.

Ни OpenAI, ни Anthropic публично не комментировали законопроект. По состоянию на пятницу он не был передан в комитет.