Когда лидеры ведущих американских лабораторий искусственного интеллекта предупреждают, что сами системы, которые они создают, могут представлять угрозу человечеству, возникает очевидный вопрос: что они с этого получат?

Ответ, по словам экспертов, аналитиков и бывших государственных оценщиков, опрошенных Associated Press, отчасти кроется в политике, а отчасти — в бизнесе. Компании, судя по всему, стремятся завоевать расположение общественности перед промежуточными выборами в США, одновременно готовясь к крупным суммам, которые их лаборатории и инвесторы могут заработать в давно ожидаемых выходах на биржу — первичных публичных размещениях (IPO), в рамках которых компании впервые продают акции публичным инвесторам, — на нестабильном рынке.

Главные исполнительные директора Anthropic и OpenAI недавно заявили, что самые передовые модели ИИ страны настолько мощны, что опасны, и должны регулироваться и проходить независимое тестирование перед выпуском. В редком проявлении единства оба руководителя описали тревожные сценарии в эссе, постах в социальных сетях и выступлениях в Организации Объединенных Наций.

Попутно они формируют дискуссию о том, как следует контролировать их технологию. Эксперты сообщили AP, что своей риторикой компании, по-видимому, добиваются общественного расположения и задают условия собственных протоколов безопасности на нерегулируемом рынке.

Уход превращается в возможность для информационной повестки

Эти цели могут не вполне совпадать с намерениями Джейкоба Кокстона, инженера Anthropic, который на этой неделе объявил об уходе в посте на X, призвав приостановить разработку технологий, чтобы «сверхчеловеческие» системы — ИИ, превосходящий человека в большинстве когнитивных задач, — не вышли из-под контроля своих создателей. Но компании увидели в посте возможность подчеркнуть собственные усилия в области безопасности и представить себя осторожными лидерами рынка — как раз тогда, когда им нужен свежий капитал перед выходом на Уолл-стрит.

Президент Дональд Трамп, со своей стороны, отверг необходимость новых норм регулирования ИИ, назвав разговоры об угрозах человечеству «ПОДДЕЛКОЙ», направленной на помощь Китаю.

Представитель Anthropic заявил, что компания призывает к регулированию уже несколько лет. Представительница OpenAI Лиз Буржуа отметила, что компания недавно приостановила обучение своих самых передовых моделей.

«Люди хотят знать, что ИИ разрабатывается безопасно, а это начинается с действий самих компаний, подобных нашей», — сказала Буржуа.

Смещение фокуса

Сара Шокер, ранее возглавлявшая команду по геополитике OpenAI, заявила, что перенос разговора на недоказанные угрозы — и уход от поляризующих вопросов, таких как воздействие центров обработки данных на окружающую среду, неконтролируемые инциденты со взломом, массовое наблюдение на основе ИИ и использование систем ИИ в войне, — оставляет Кремниевую долину в более комфортном положении.

«Мы снова говорим об экзистенциальной угрозе, отодвигая на второй план ряд других критически важных рисков безопасности, которые существуют сегодня, — сказала Шокер, ныне старший приглашенный научный сотрудник Лаборатории рисков и безопасности Калифорнийского университета в Беркли. — Если посмотреть на использование ИИ в военных технологиях, видно, что эти системы уже используются для убийства людей».

Поскольку ИИ-компании перешли от создания чат-ботов к продвинутым «мировым моделям» с трехмерным восприятием — системам, предназначенным для моделирования физических сред, а не просто генерации текста, — не утихают споры о том, как следует тестировать эти технологии. Серия проблемных инцидентов показала, что ведущие ИИ-компании не справляются с самоконтролем и не создают безопасные эксперименты. В последние месяцы ИИ-агенты топовых лабораторий взламывали внешние сайты после того, как им позволили покинуть обучающие песочницы компаний, непредвиденным образом взаимодействовали с сайтами правительства США и, казалось, совершили математический прорыв, чтобы затем столкнуться с обвинениями в краже работы математиков.

Представители OpenAI недавно сообщили журналистам, что компания обсуждала с ИИ-фирмами, включая Anthropic и Google, приостановку разработки. Они также утверждают, что если государство не будет регулировать отрасль, необходимы независимые аудиторы для проверки прогресса лабораторий. Будет ли реализована какая-либо скоординированная пауза — и на чьих условиях — остается неясным.

Скептичный Белый дом и малоизвестное агентство тестирования

Трамп проявил мало интереса к регулированию И, который стал одним из главных двигателей недавнего экономического роста США. Республиканский президент лично заключал сделки с фирмами Кремниевой долины, которые прочнее привязывают экономику к их успехам. Вентурный капиталист из Сан-Франциско Дэвид Сакс, сопредседатель Совета советников Трампа по науке и технологиям, отверг призывы к замедлению ИИ как запугивание со стороны «Думерского промышленного комплекса».

В действительности администрация Трампа уже оценивает некоторые модели технологических гигантов через малоизвестное федеральное агентство — Центр стандартов и инноваций в области ИИ США (CAISI). Созданное в 2023 году при демократе Джо Байдене, агентство позиционировалось как центр, где лаборатории могли добровольно передавать передовые модели ИИ на тестирование.

Агентство до сих пор существует, но отрасль с тех пор расширилась и включает множество независимых оценочных фирм, таких как METR, некоммерческая организация из Беркли, штат Калифорния. В недавнем эссе генеральный директор Anthropic Дарио Амоде предположил, что METR могла бы помочь проверить методы безопасности его компании.

Тем не менее, в отличие от регулируемых секторов, таких как общепит, финансовые услуги или авиация, не существует универсальных стандартов тестирования безопасности систем ИИ, отметил Эндрю Стрейт, недавно покинувший Институт безопасности ИИ Великобритании, сотрудничавший с CAISI.

Примечательно, что компании не призывают к усилению надзора со стороны государственного агентства, оборудованного для обработки таких запросов, сообщил Конрад Стosz, ранее возглавлявший CAISI. Вместо этого они обещают создать собственные параметры аудита и выбирать конкретных оценщиков для их оценки.

Стosz теперь работает в одной из таких оценочных лабораторий, которая тестировала системы для Anthropic, OpenAI и Google, и возглавляет AI Evaluator Forum, разрабатывающий лучшие практики для отрасли. Он сказал, что даже у форума есть вопросы о том, чего хотят Амоде и генеральный директор OpenAI Сэм Альтман.

«Многие оценщики заинтересованы в интеграции с лабораториями и получении большего доступа, но немного неясно, что означает «встроенные оценщики», — сказал Стosz, ныне руководитель направления управления в Transluce, которая на прошлой неделе сообщила, что агенты OpenAI взломали сайты правительства США и Австралии. — Смогут ли оценщики проводить тщательное расследование, при условии, что доступ предоставлен таким образом, который не подрывает их независимость и авторитет?»

«Стена или ров»

По словам Харрисона Ролфеса, старшего аналитика PitchBook, призывы ИИ-компаний к осторожности, похоже, направлены на то, чтобы снискать расположение инвесторов перед публичными размещениями и промежуточными выборами, когда политическая конъюнктура может измен. Демократические губернаторы уже спешат продемонстрировать, что серьезно относятся к предупреждениям — одно из отражений того, как в отсутствие всеобъемлющего федерального закона об ИИ законодательные собрания штатов стали самой активной площадкой нормотворчества в сфере ИИ в США.

Тем временем, отметил Ролфес, ИИ-гиганты могут блокировать рост smaller конкурентов, позиционируя себя как самый безопасный выбор — не только для инвесторов, но и для производителей ИИ-чипов и технологических компаний, таких как Nvidia и Google, которые, в свою очередь, выигрывают от сделок, поставляющих ИИ-гигантам вычислительные мощности.

«Они создают стену или ров внутри этого сектора. … Это гениально, и они все заработают много денег», — сказал Ролфес. — «Именно туда, как я вижу, все движется: ведущие компании мира просто создают свою собственную стену, а затем используют безопасность как предлог».

Не все ИИ-компании поддерживают замедление. Генеральный директор Nvidia Дженсен Хуанг в телефонном разговоре с Трампом — во время которого он находился на сцене конференции — заявил, что согласен с тем, что тревога по поводу ИИ чрезмерна и компании могут сами выбирать темп развития.

Дэниел Кокотайло, покинувший OpenAI в 2024 году из-за опасений, схожих с опасениями Кокстона, сказал, что по-прежнему беспокоится, что системы ИИ развиваются быстрее, чем компании могут их контролировать. Он опасается экзистенциальных сценариев, таких как ускорение ИИ создания биооружия, ядерной войны или других катастроф.

«Вся эта риторика на самом деле является способом рассеять и перенаправить накопившуюся политическую волю, а не направить ее на что-то полезное», — сказал Кокотайло, который теперь возглавляет организацию по защите безопасности ИИ и, по его словам, консультировал Кокстона перед его уходом. — «Только, пожалуйста, не делайте того, что может нас всех погубить».

Эта статья впервые была опубликована на Fortune.com.