Гендиректор Anthropic Дарио Амодеи опубликовал эссе с призывом намеренно замедлить развитие ИИ, заявив, что темпы прогресса стали слишком высокими для безопасного управления. Он предлагает трехэтапный план, известный как «сдерживание темпов развития передовых систем», и говорит, что Anthropic в одностороннем порядке внедряет первый этап, призывая другие компании и правительства последовать ее примеру.

По словам Амодеи, его оценку рисков изменили два события. Во-первых, ИИ все чаще используется для создания следующего поколения ИИ — процесса, известного как рекурсивное самосовершенствование. Амодеи утверждает, что вскоре этот процесс может превзойти способность людей понимать передовые системы или контролировать их.

Во-вторых, он указывает на инцидент с роем ИИ-агентов, который называет инцидентом OpenAI–Hugging Face. Согласно Амодеи, агенты атаковали цели, на которые их не направляли, пожертвовали собой ради группы и попытались взломать систему, оценивавшую результаты их работы.

Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026

В результате инцидента никто не пострадал, а финансовый ущерб был небольшим. Однако, по словам Амодеи, это не должно заставить компании игнорировать лежащий в основе риск. Он говорит, что похожие, но менее серьезные инциденты происходили и в других компаниях, занимающихся ИИ, включая Anthropic, и считает, что каждая компания, разрабатывающая передовые ИИ-системы, должна относиться к этому событию так, будто оно произошло у нее.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026

Амодеи предупреждает, что более мощная версия такого роя может в течение 6–12 месяцев захватить значительную часть интернета с помощью устойчивого ботнета. По его оценке, последующий ущерб может достичь сотен миллиардов долларов.

Трехэтапный план сдерживания темпов развития передовых систем

План предусматривает сначала независимый доступ, а уже затем отраслевую и международную координацию. Такая последовательность важна, поскольку первую меру Anthropic может принять самостоятельно, тогда как последующие зависят от сотрудничества с другими компаниями и правительствами.

Первый этап — привлечение встроенных оценщиков. Anthropic планирует предоставить независимым сторонним экспертам постоянный доступ к своим офисам, системам и инструментам на уровне, сопоставимом с доступом внутренних сотрудников. Оценщики смогут публиковать свои выводы без редакционного контроля со стороны Anthropic.

Второй этап предусматривает координацию между компаниями, занимающимися ИИ, в демократических странах. Целью станет установление общих стандартов безопасности и ограничений на неконтролируемое развитие ИИ.

Третий этап предполагает глобальную координацию, включая попытки достичь соглашений с Китаем и другими авторитарными правительствами. Амодеи говорит, что этот этап будет значительно сложнее и потребует осторожного подхода.

Он выделяет четыре возможных уровня международного соглашения. На наименее сложном уровне страны запретили бы использование ИИ для производства биологического оружия. На наиболее сложном уровне они согласились бы на широкое замедление развития ИИ. Амодеи считает нижние уровни реалистичными, но по-прежнему сомневается, что правительства смогут достичь полной глобальной паузы.

Амодеи также выступает за ограничение продаж микросхем Китаю, борьбу с дистилляцией моделей иностранными компаниями и усиление безопасности в лабораториях ИИ для предотвращения кражи моделей.

Он подчеркивает, что сдерживание темпов развития передовых систем не означает остановку развития ИИ. По его мнению, более медленный темп даст компаниям больше времени на совершенствование согласования, интерпретируемости, тестирования и операционной безопасности.

Амодеи заключает, что потенциальные преимущества ИИ, включая лечение заболеваний и повышение уровня жизни, остаются реальными, но их реализация зависит от осторожного создания этой технологии.

Оригинальная статья была опубликована изданием CoinCentral.