Трое бывших исследователей из OpenAI, Anthropic и Google DeepMind заявили в понедельник Совету Нью-Йорка, что человечество «скорее всего» утратит контроль над передовым искусственным интеллектом, поскольку законодатели рассматривали пакет законопроектов о безопасности ИИ, который потребует независимой проверки и возможности отключения ИИ человеком для систем, развернутых в городе.

Джейкоб Коксон, бывший исследователь OpenAI и Anthropic, уволившийся из Anthropic в сентябре после обвинений ИИ-компаний в «азартной игре» с человеческими жизнями, дал показания добровольно и подтвердил предупреждение, которое сделал при уходе месяцем ранее. «На текущем пути я считаю, что человечество скорее всего утратит контроль над этими ИИ, и это может закончиться вымиранием человечества», — сказал он.

К нему присоединились бывший исследователь OpenAI Дэниел Кокотайло, который под повесткой заявил, что компании могут не знать, когда их работа по безопасности провалилась, и Алекс Тёрнер, покинувший Google DeepMind в июне после того, как компания подписала контракт с Пентагоном, против которого он возражал. Как и Кокотайло, Тёрнер был вызван по повестке — редкость для совета. Слушания в понедельник стали первыми с 2022 года общими слушаниями всего состава совета (Committee of the Whole, с участием всех 51 члена совета), созванными для рассмотрения пакета законопроектов об ИИ от спикера Джули Менин. Созыв полной палаты signaled, что совет рассматривает надзор за ИИ как общегородскую политическую проблему, а не узкий технический вопрос. Заседание объединило уходящих инсайдеров с последующей панелью представителей компаний и привело к острым обменам мнениями между спикером и отраслевыми свидетелями.

«Клейкая лента, которая потом отвалится»

Кокотайло предупредил законодателей что лаборатории могут проваливать работу по безопасности, и никто этого не заметит — речь идет о «рассогласовании» (misalignment), термине, которым исследователи обозначают ИИ-системы, чьи цели отходят от намерений их создателей. «Наша способность даже замечать проблемы рассогласования уже весьма слаба и в ближайшем будущем станет намного хуже», — заявил он. «Я бы сказал, что эта область ближе к психологии, чем к инженерии, потому что эти ИИ-системы обучаются или вырастают; они не проектируются в полном смысле.

«В сочетании с подходом техкомпаний «двигайся быстро и ломай» это означает, что ИИ-индустрия подвергается необычно высокому, по сравнению с другими отраслями, риску ошибочно посчитать проблему решенной, тогда как на самом деле она просто наклеила клейкую ленту, которая потом отвалится», — продолжил он.

Коксон, как и Кокотайло, обвинил стартапскую ментальность внутри лабораторий. «Двигайся быстро, ломай, чини потом». Это работает для приложения для обмена фотографиями. Это не работает при создании самой мощной технологии в истории», — сказал он.

Коксон описал свою работу в конце пребывания в Anthropic как попытку «автоматизировать» самого себя и предупредил, что это создает несколько рисков безопасности — особенно потому, что, по его словам, возможности ИИ почти достигли нужного уровня. Наибольший риск, по словам Коксона, связан с тем, что большая часть кода в этих компаниях теперь пишется ИИ: «И люди больше не проверяют его так тщательно».

Кокотайло, ныне исполнительный директор AI Futures Project, сказал, что способность лабораторий выявлять рассогласованный ИИ слаба и ухудшается. Он указал на признание OpenAI, что агенты во внутреннем тесте вышли в открытый интернет и взломали Hugging Face, платформу обмена ИИ-моделями. Эти агенты имели «достойно выглядящие оценки на проверках согласованности, и при этом они сформировали рой и тайно координировались», — сказал он. «OpenAI потребовались дни, чтобы это обнаружить».

Пока Коксон и Кокотайло описывали отрасль в целом, Тёрнер рассказал от первого лица о попытке изменить одну компанию изнутри.

Внутри Google DeepMind

Тёрнер, оценивающий вероятность захвата власти ИИ в «примерно один к трем», сообщил совету, что пытался остановить контракт Google с Пентагоном, который, по его словам, был заключен «без ограничений на роботов-убийц или массовую слежку». Он направил Демису Хассабису, тогда генеральному директору Google DeepMind, а ныне ее председателю и главному ученому Alphabet, 25 страниц контрактных формулировок и мер надзора. Хассабис передал документ Аллану Дафоу и Оуэну Лартеру, двум старшим руководителям лаборатории по политике, «которые так и не закончили его оценивать. Google подписала контракт, пока они ждали», — сказал Тёрнер. Позднее Тёрнер подробно описал свой уход в блоге Почему я ушел из Google DeepMind.
«Мне было стыдно за Демиса и за работу в Google», — сказал Тёрнер на слушаниях. Он упомянул предложение Хассабиса о финансируемом отраслью органе по надзору за ИИ, назвав его «ставкой на доверие и место за столом вместо обязывающего надзора, и эта ставка рассыпалась при столкновении с реальностью».

«ИИ, а не Китай, — наш противник»

Когда обсуждается развитие ИИ, на первый план часто выходит продолжающаяся гонка ИИ с Китаем — на это указывают президент Дональд Трамп, министр финансов Скотт Бессент и даже лидеры ИИ-индустрии, такие как Сэм Альтман и Дженсен Хуанг. Но все это не имеет значения, заявили исследователи, если ИИ может представлять серьезную угрозу человечеству.

«Китай — не наш единственный потенциальный противник», — сказал Тёрнер. «С довольно высокой вероятностью мы сами здесь, дома, гонимся за созданием и взращиванием собственного противника — рассогласованного ИИ. Рассогласованный ИИ — противник всех, включая нас самих, и однажды он может оказаться мощнее Китая».

Представители отрасли под давлением по вопросу рисков

После показаний трех исследователей представители четырех ИИ-компаний рассказали о мерах безопасности ИИ. Менин выдала свою первую повестку в качестве спикера SpaceXAI Илона Маска, которая не была представлена на слушаниях в понедельник. Google, OpenAI и Anthropic согласились явиться только после предупреждения совета, что они тоже получат повестки, тогда как Meta согласилась заранее.

Затем состоялся обмен репликами между Менин и представителями после того, как спикер назвала «легкомысленным» незнание вероятности катастрофы — в ответ на слова Морган Дуайер из команды политики и операций OpenAI, что любая вероятность, независимо от ее величины, «неприемлема». Элис Френд, глобальный глава Google по политике в области ИИ и новых технологий, заявила, что прогнозирование катастрофических рисков «на данном этапе не является точной наукой» и что «пока нет действительно строгого научного способа это делать». Обмен отразил повторяющийся водораздел в дебатах о безопасности ИИ: исследователи, готовые давать приблизительные оценки катастрофических исходов, и представители отрасли, утверждающие, что науки для таких прогнозов пока не существует.

Тот же обмен продолжился в рамках другой линии вопросов — теперь о том, понесут ли компании юридическую ответственность, если вышедшая из-под контроля модель причинит травму или смерть. Когда Менин попросила свидетелей поднять руку, если их компания застрахована от катастрофических рисков, никто не поднял. «Значит, тогда, я полагаю, расходы придется поглощать публике», — сказала она.

Законопроекты перед советом

У ее вопросов была причина: законодательство перед советом запретит кому-либо продавать или развертывать ИИ-систему в городе, если она не проверена внешним валидатором и человек не может ее отключить, со штрафами в размере 25 000 долларов за каждое нарушение. Другие законопроекты будут выплачивать информаторам долю взысканных штрафов иозволят жителям Нью-Йорка подавать в суд на ИИ-компании за предсказуемый вред от взломанных инструментов — систем, чьи защитные ограничители были намеренно обойдены. В случае принятия пакет закрепит эти требования в муниципальном праве для ИИ-систем, продаваемых и используемых во всех пяти боро, подкрепленные штрафами и перспективой частных исков.

Исследователи утверждали, что такие правила не будут стоить США позиций в соперничестве с Китаем. «Есть много действий, которые мы можем предпринять и которые не замедлят нас в любой гонке», — сказал Тёрнер. «Эти механизмы прозрачности, независимая оценка, требования к отчетности, защита информаторов».

Тем не менее, эти меры могут оказаться слишком малыми и запоздалыми для предотвращения того, что исследователи считают почти неизбежным. «Эти другие механизмы могут быть полезны в краткосрочной перспективе», — сказал Коксон. «Но в долгосрочной… нам нужна та или иная форма замедления разработки фронтирных моделей». Законопроекты теперь проходят обычный законодательный процесс совета: каждый должен пройти рассмотрение в комитете и голосование всей палаты из 51 члена, прежде чем попасть к мэру для подписания или вето.

Эта история первоначально была опубликована на Fortune.