Как сообщили три человека, знакомых с ходом закрытых обсуждений, Anthropic непублично продвигает среди законодателей в Конгрессе проект закона о безопасности передовых ИИ-систем. Согласно предложенному законодательству, правительство США сможет блокировать ИИ-модель, если она представляет явную и неминуемую угрозу более чем 50 жертв или финансового ущерба в размере 1 млрд долларов.

Согласно проекту, речь должна идти о риске, связанном с кибератакой, созданием или развертыванием биологического оружия либо с моделью, успешно обошедшей ограничения безопасности, установленные ее разработчиком.

Предложение последовало за несколькими месяцами, в течение которых ведущие разработчики ИИ признавали многочисленные случаи взлома ИИ-агентами онлайн-платформ или проверки их защиты. Ни один из этих ранних инцидентов не привел к массовым жертвам или катастрофическим финансовым потерям.

Предложенные ограничения сместят акцент на то, что передовые ИИ-системы реально способны делать в реальных условиях, а не только на обязательства по безопасности, взятые на себя их разработчиками. Поскольку модели становятся все более способными писать код, выявлять уязвимости в ПО и автономно выполнять сложные задачи, регулирующие органы сталкиваются с проблемой определения момента, когда возможности системы пересекают порог недопустимого риска.

Независимое тестирование может помочь установить, способна ли модель обходить средства защиты или быть использована во вред до того, как она станет доступна более широкой аудитории. Тем не менее определить неминуемую угрозу по-прежнему сложно, особенно учитывая, что те же возможности, которые создают риски безопасности, могут помогать исследователям выявлять и устранять уязвимости.

Согласно законопроекту Anthropic, федеральный судья может распорядиться о приостановке модели

В защиту законопроекта представитель Anthropic заявил, что проект отражает рекомендации по безопасности, изложенные в рамочной программе Advanced AI Framework компании, опубликованной в июне. В этой программе компания указала, что ее Claude Mythos Preview уже выявила тысячи серьезных уязвимостей во всех основных операционных системах и веб-браузерах. Тогда она подчеркнула, что эта тенденция неизбежно ускорится, повышая риск катастрофического ущерба в реальном мире.

Программа также предусматривала сбалансированный регулирующий подход, допускающий вмешательство государства без подавления инноваций. Anthropic настаивала, что при экстремальной опасности ИИ-модели регуляторы должны обладать установленными законом полномочиями блокировать ее или налагать крупные штрафы, привязанные к глобальной выручке и увеличивающиеся при повторных нарушениях.

До сих пор Anthropic открыто не поддерживала ни один конкретный федеральный законопроект в Конгрессе, однако компания выразила поддержку ряду законов о безопасности ИИ на уровне штатов, включая несколько в Калифорнии, например SB 53. Компания публично объявила о поддержке этого закона, принятого в прошлом году и обязывающего компании создавать иубликовать свои программы безопасности, работая над снижением основных рисков. SB 53 также требует от компаний сообщать штату о любых серьезных инцидентах в сфере безопасности в течение 15 дней.

Согласно предложению Anthropic, зарегистрированные в Министерстве торговли сторонние оценщики будут регулярно тестировать лаборатории и модели компании. Хотя лабораториям разрешено финансировать такую оценку, вознаграждение не может зависеть от выводов оценщика. Кроме того, о любом выявленном «неминуемом перечисленном риске» необходимо будет сообщать федеральным властям в течение 72 часов после завершения оценки. В случае принятия предложение распространит стремление Anthropic к обеспечительному регулированию безопасности с уровня штатов на федеральный уровень.

Если Министерство торговли определит, что модель представляет риск, оно сможет обратиться к судье с просьбой заблокировать ее выпуск. При этом положение запрещает любым другим «департаментам, ведомствам или должностным лицам» США останавливать разработку, развертывание или внутреннее использование модели. Тем не менее федеральный судья в округе Колумбия сохраняет полномочия издать такой приказ о приостановке.

FTC направила повестки OpenAI и Anthropic

В среду Федеральная торговая комиссия направила OpenAI и Anthropic гражданские повестки с требованием предоставить записи об инцидентах в сфере безопасности, которые становятся для отрасли растущим кризисом. OpenAI отреагировала на повестку заявлением: «Поскольку мы улучшаем наши модели и они все активнее помогают людям в повседневной жизни, безопасность остается первоочередным приоритетом. Мы будем конструктивно взаимодействовать с FTC».

Источник сообщил, что ведомство в ближайшее время намерено распространить свои полномочия по вызову на сторонние организации. Регулятор может принудить руководителей Anthropic и OpenAI к публичным показаниям, дав законодателям платформу для критики технологических гигантов по вопросам безопасности на фоне растущих общественных опасений относительно возможных последствий.

Согласно недавнему опросу, проведенному Центром исследований общественных дел The Associated Press-NORC, почти две трети взрослых американцев считают, что ИИ развивается слишком быстро. Восемь из десяти опрошенных также подчеркнули важность усилий правительства по сохранению контроля над технологией со стороны человека. Эти результаты отражают общественные настроения вокруг как расследования FTC, так и инициативы Anthropic в Конгрессе.

До сих пор президент Трамп продолжал отклонять призывы замедлить темпы развития ИИ, ссылаясь на важность технологии для стратегических интересов США. Он недавно представил «Силы сверхинтеллекта» для координации усилий федерального правительства в области ИИ при сохранении взаимодействия с потребителями, общественными организациями и другими заинтересованными сторонами. Как проект Anthropic впишется в этот подход, остается открытым вопросом.