Ниже приведена авторская колонка Сэмюэла Вэнс-Лоу, главы отдела исследований Decentralization Research Center, в которой утверждается, что если аудиты в рамках соглашения Белого дома по ИИ должны иметь какую-либо ценность, аудиторы должны иметь возможность сами выбирать, что они проверяют.

На прошлой неделе шесть самых влиятельных компаний в области искусственного интеллекта пообещали Белому дому, что позволят внешним специалистам проверять свою работу.

29 сентября Nvidia, OpenAI, Anthropic, Google, Meta и xAI подписали соглашение, охватывающее наиболее продвинутые модели ИИ; президент США Дональд Трамп назвал его «морально обязывающим». Каждая компания пообещала «сотрудничать с независимым внешним аудитором или оценщиком», а независимые члены совета директоров будут рассматривать отчеты аудиторов и следить за устранением проблем.

Внешние аудиты — хорошая идея, и Вэнс-Лоу приветствует их включение. Но, как он пишет, в соглашении ничего не говорится о том, кто выбирает аудиторов, что они могут проверять и будут ли результаты обнародованы — и за его несоблюдение не предусмотрено никаких санкций. В текущем виде каждая компания сама выбирает аудитора и решает, что ему позволено изучать.

Такая схема перекликается с показательным эпизодом корпоративной истории. В 2000 году Enron заплатила бухгалтерской фирме Arthur Andersen — входившей ранее в так называемую «Большую пятерку» международных бухгалтерских фирм, ставшую «Большой четверкой» после краха Arthur Andersen — 25 миллионов долларов за аудит своей отчетности и еще 27 миллионов долларов за налоговые и консультационные услуги. В течение двух лет обе компании прекратили существование. Конгресс отреагировал законом Сарбейнса — Оксли 2002 года, который отнял у менеджмента право выбирать аудитора — именно ту власть, которую новое соглашение оставляет каждой ИИ-компании, — запретил аудиторам продавать большинство других услуг проверяемым ими компаниям и создал публичный совет для проверки самих аудиторов.

Andersen потерпела неудачу не из-за недостатка экспертизы, а из-за отсутствия стимула пристально проверять клиента, платившего ей 52 миллиона долларов за один год.

Добровольные обязательства в индустрии ИИ также не имеют хорошей репутации. В 2023 году ведущие ИИ-компании взяли на себя ряд добровольных обязательств перед Белым домом, включая допуск внешних экспертов к тестированию своих систем перед выпуском. Когда исследователи из Стэнфорда, Гарварда и Брауна оценили 16 компаний по этим обязательствам, средний результат составил 53%. По обещанию помогать внешним специалистам находить и сообщать о проблемах восемь из 16 компаний получили ноль баллов.

Даже когда внешнее тест действительно проводится, условия диктует разработчик. METR, некоммерческая организация, тестирующая модели ИИ, написала, что ее тестирование модели OpenAI o3 перед выпуском «проводилось всего три недели», с «ограниченным доступом к информации о модели» и без возможности увидеть пошаговые рассуждения модели. Справедливости ради, OpenAI вообще разрешила проведение тестирования — но этот случай показывает, насколько многое зависит от того, чем компания готова поделиться.

Обученная модель ИИ — это, по сути, очень большой файл с числами, часто costing более 100 миллионов долларов на создание, и у кого есть копия, у того есть модель. Передача копий внешним сторонам — риск для безопасности. До недавнего времени это оставляло тестировщикам неудобный выбор, который Google DeepMind хорошо описал: либо тестировщики передают свои вопросы, и компания заранее видит экзамен, либо компания передает свою модель.

В августе DeepMind показала способ обойти эту дилемму. В сотрудничестве с Сингапурским институтом безопасности ИИ и тремя другими внешними группами она провела, по ее словам, первый в мире двойной слепой тест модели ИИ по тому же принципу, что и двойное слепое испытание лекарств. Тест выполнялся на герметичном компьютерном оборудовании, поэтому внешние тестировщики ни разу не видели модель, а Google не видел их вопросов. Google утверждает, что каждая сторона может математически проверить, что ее материалы остались конфиденциальными.

Этот подход также переносит доверие на само оборудование. В прошлом году исследователи взломали подобное герметичное оборудование с помощью техники стоимостью менее 1000 долларов, хотя для этого им требовался физический доступ к серверу. Это стоит принимать всерьез, но проблема гораздо меньше, чем «мы не можем подпускать кого-либо к модели», и ею можно управлять, тщательно контролируя, кто распоряжается машинами.

Аргументация опирается на отчет «Alternatives to Concentrated AI», опубликованный на этой неделе Decentralization Research Center. Для отчета Вэнс-Лоу и соавтор Кайл Блиген проинтервьюировали 36 человек и описали почти 30 работающих альтернатив концентрированному контролю над ИИ. Главный вывод: внешние стороны теперь могут изучать передовой ИИ, не принимая во владение модель или ее данные.

Если аудиты в рамках соглашения должны иметь какую-либо ценность, утверждает Вэнс-Лоу, аудиторы должны сами выбирать, что проверять, — тем более что теперь они могут делать это, не получая копию модели. Компании также должны раскрывать, кто их аудиторы и что охватывали проверки, даже если подробные результаты останутся конфиденциальными — публичные компании десятилетиями называют своих аудиторов, не выдавая коммерческих тайн. И комитеты советов директоров, читающие эти отчеты, должны отчитываться перед кем-то вне компании. Сарбейнс — Оксли создал инспектора для инспекторов. В соглашении нет ничего подобного, и Конгресс должен решить, что заполнит этот пробел.

Примечание: взгляды, выраженные в этой колонке, принадлежат автору и не обязательно отражают позицию CoinDesk, Inc. или ее владельцев и аффилированных лиц.