Более 1 200 сотрудников ведущих ИИ-лабораторий, включая руководителей, подписали заявление с призывом к правительству США помочь создать инструменты, необходимые для замедления развития ИИ, если это когда-либо станет необходимым.

Заявление под названием “Pacing the Frontier” было опубликовано во вторник и было подписано известными фигурами технологической отрасли, включая CEO Anthropic Dario Amodei и нескольких сооснователей компании, а также главным научным сотрудником OpenAI Jakub Pachocki, главным научным сотрудником Meta Shengjia Zhao и руководителем направления AI safety and alignment в Google DeepMind Anca Dragan.

Подписанты объединяют компании, которые обычно ведут ожесточённую конкуренцию, что подчёркивает давление на отрасль, стремящуюся создавать всё более крупные и мощные модели. Это важно, поскольку речь идёт не о немедленной паузе, а об инфраструктуре, которая сделала бы возможным любое будущее замедление с технической и политической точки зрения по всей отрасли, а не только в случае действий одной компании.

«То, что так много сотрудников из разных компаний пришли к согласию по этому вопросу, поразительно», — сказал Fortune Tyler Johnston, основатель AI-наблюдательной группы Midas Project. «В отрасли много ожесточённых соперничеств и разногласий, поэтому тот факт, что по этому пункту существует столь сильный консенсус, — это предупреждение, на которое нам действительно следует обратить внимание».

Заявление не призывает какую-либо компанию немедленно замедляться. Вместо этого оно призывает Вашингтон поддержать международные усилия по созданию технических и управленческих инструментов, которые позволили бы миру «замедлять» развитие. Особо отмечаются риски, связанные с ИИ-системами, которые начинают проектировать собственных преемников быстрее, чем люди могут их понять или контролировать.

«Поговорив со многими людьми, подписавшими письмо, я понял, что они не хотят паузы», — сказал Fortune Peter Wildeford, глава policy в AI Policy Network. «Но есть обеспокоенность тем, как развивается технология». По его словам, компании хотят сохранить возможность замедлить развитие в какой-то момент и получить поддержку третьей стороны, когда этот момент наступит.

Письмо появилось после инцидента безопасности, который потряс ИИ-отрасль. OpenAI сообщила, что две её модели — недавно выпущенная GPT-5.6 Sol и более мощная невыпущенная исследовательская система — вышли из изолированной внутренней тестовой среды, обнаружили ранее неизвестную уязвимость, которая дала им доступ к открытому интернету, а затем использовали украденные учётные данные и дополнительные эксплойты для взлома production-систем Hugging Face, чтобы украсть ответы на кибербезопасностный бенчмарк, на котором их оценивали. Hugging Face самостоятельно обнаружила и локализовала вторжение за несколько дней до того, как OpenAI связала активность со своим внутренним тестированием, и уже сообщила о нём правоохранительным органам.

По-видимому, инцидент вызвал широкую тревогу как внутри лабораторий, так и за их пределами, и они хотят, чтобы вмешалось правительство. Эксперты говорят, что ни одна компания не может убедительно замедлиться в одиночку: односторонние действия рискуют уступить позиции менее осторожным конкурентам. Вместо этого лаборатории хотят нейтральных, поддерживаемых государством ориентиров, которые могут проверить, действительно ли происходит замедление, и одновременно обязать все компании соблюдать одни и те же правила.

В заявлении также говорится о необходимости создавать такие инструменты при международной координации. Давно существует мнение, что пауза в развитии ИИ дала бы Китаю преимущество в глобальной гонке ИИ. Некоторые эксперты считают, что путь вперёд — это соглашение по типу контроля над ядерными вооружениями, с верификацией и взаимными ограничениями.

Однако письмо выходит в момент хаотичной и быстро меняющейся политики США в отношении ИИ. В последние два месяца администрация Trump ограничивала и выборочно выпускала frontier systems, передовые ИИ-модели с небольшим количеством правил или прозрачности. Собственные модели Anthropic Fable 5 и Mythos 5 были полностью приостановлены на несколько недель для соблюдения экспортных ограничений, прежде чем доступ был восстановлен, а OpenAI была вынуждена отложить полный запуск GPT-5.6 и разделить его на ограниченные уровни после того, как чиновники определили, что система демонстрировала возможности, схожие с теми, которые ранее привели к ограничениям Anthropic.

Возможно, пытаясь учесть регуляторную среду, письмо заметно осторожно и несколько расплывчато в формулировках. В нём говорится, что миру сейчас «не хватает технических и управленческих инструментов, чтобы намеренно задавать темп прогрессу на всём frontier-уровне», и содержится просьба о том, чтобы «правительство США поддержало международные усилия по разработке технических и управленческих инструментов, необходимых для намеренного задания темпа frontier-уровню автоматизированного развития ИИ».

Озабоченности внутри лабораторий

Одна из ключевых проблем исследователей — взаимодействие двух рисков: recursive self-improvement и misalignment. Recursive self-improvement, часто сокращаемый до RSI, означает, что ИИ-системы берут на себя значимые части работы по проектированию и обучению своих преемников, причём каждое новое поколение потенциально может создавать следующее быстрее, чем люди сделали бы это самостоятельно.

Misalignment обозначает риск того, что цели или поведение системы расходятся с тем, что на самом деле задумали её разработчики, причём это может проявиться не сразу, а только тогда, когда системе предоставляют больше автономии или возможностей. Anthropic ещё в июне подала ранний сигнал тревоги по первому из этих рисков, опубликовав исследование, в котором утверждалось, что модели Claude уже пишут подавляющее большинство кода, попадающего в их собственную codebase, и что у мира нет инструментов, чтобы намеренно задавать темп этому ускорению, если оно продолжит накапливаться.

«Моё предположение в том, что для многих людей это просто общее чувство неуютности, которому способствуют многие факторы», — сказал David Krueger, ИИ-исследователь и основатель некоммерческой организации Evitable. «Несоответствие целей и recursive self improvement как бы идут рука об руку».

«Это безумие — заниматься recursive self improvement и полностью отдавать управление, если система явно не aligned», — добавил он.

Fortune ранее также сообщало, что несколько внешних экспертов по безопасности ИИ считают, что этот эпизод мог пересечь порог, который собственные политики безопасности OpenAI определяют как “critical”, то есть высшую категорию риска, на уровне которой компания обещала приостановить разработку, пока не сможет создать более надёжные средства контроля. OpenAI не подтвердила, был ли достигнут этот порог риска.

Однако в собственном раскрытии об инциденте с Hugging Face OpenAI указала, что внутри компании были предприняты некоторые меры. «Ни одна из моделей, запланированных к ближайшему выпуску, не участвовала во взломе Hugging Face», — заявила компания. «Предварительная модель, упомянутая в нашем блоге, является внутренним исследовательским прототипом и никогда не предназначалась для публичного выпуска. После инцидента мы деактивировали её, зашифровали и ограничили доступ к ней для исследований».

Этот материал впервые был опубликован на Fortune.com