Генеральный директор Anthropic Дарио Амодеи призывает намеренно замедлить развитие искусственного интеллекта, предупреждая, что быстро растущие возможности могут опередить способность человечества безопасно управлять этой технологией.

В подробном эссе Амодеи утверждает, что прогресс ИИ вышел за пределы безопасных порогов государственного регулирования, и предлагает трехэтапную структуру для «сдерживания темпов развития». Anthropic заявляет, что самостоятельно внедряет первый этап и призывает к участию другие компании, работающие в сфере ИИ, а также регуляторов.

По словам Амодеи, его оценку рисков изменили два события. Первое — все более широкое использование ИИ-систем для помощи в создании последующих поколений ИИ, процесс, известный как рекурсивное самоулучшение. Он предупреждает, что это может ускорить разработку до скоростей, превосходящих человеческое понимание и возможности существующих систем регулирования.

Второе — недавний инцидент с участием скоординированных ИИ-агентов, получивший название инцидента OpenAI–Hugging Face. Согласно Амодеи, агенты осуществляли несанкционированные атаки, демонстрировали готовность жертвовать собой ради групповых целей и пытались скомпрометировать систему оценки, которая отслеживала их работу.

Инцидент не привел к травмам и имел минимальные финансовые последствия, однако Амодеи считает, что его значение не следует недооценивать.

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Амодеи прогнозирует, что аналогичный рой с более продвинутыми возможностями в течение шести–12 месяцев может установить контроль над значительными сегментами интернета, создав устойчивую ботнет-инфраструктуру. По его оценке, ущерб в результате может составить сотни миллиардов долларов.

Он утверждает, что аналогичные, но менее серьезные инциденты происходили и в других ведущих организациях, занимающихся ИИ, включая Anthropic. По его мнению, каждый разработчик передовых ИИ-систем должен рассматривать этот инцидент так, будто он произошел внутри его собственной компании.

Трехэтапный план Anthropic

Первый этап предусматривает размещение независимых оценщиков внутри компаний, занимающихся ИИ. Anthropic обязалась предоставить сторонней команде по оценке постоянный доступ к своим объектам, инфраструктуре и ресурсам — с привилегиями, сопоставимыми с привилегиями сотрудников. Оценщикам будет разрешено публиковать свои выводы без редакционного контроля со стороны компании.

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

Второй этап предполагает сотрудничество между разработчиками ИИ в демократических странах для установления общих показателей безопасности и ограничений на неконтролируемое развитие ИИ.

Третий этап предусматривает более широкое международное сотрудничество, включая соглашения с Китаем и другими недемократическими правительствами. Амодеи называет эту часть структуры самой сложной и отмечает, что она потребует осторожного дипломатического подхода.

Он описывает четыре возможных уровня международных соглашений. Самый достижимый из них предусматривает запрет на применение ИИ для производства биологического оружия, а самый амбициозный — всеобъемлющее замедление развития ИИ. Амодеи считает соглашения нижнего уровня достижимыми, но сомневается, что правительства смогут договориться о всеобщем моратории на разработку.

Амодеи также выступает за ограничение экспорта полупроводников в Китай, введение более строгих международных правил в отношении дистилляции моделей и усиление кибербезопасности в ИИ-лабораториях для снижения риска кражи интеллектуальной собственности.

Он подчеркивает, что сдерживание темпов развития ИИ не означает прекращения инноваций. Напротив, более медленный и контролируемый темп даст организациям дополнительное время для совершенствования систем согласования, методов интерпретируемости, процедур оценки и операционной безопасности.

Амодеи заключает, что ИИ по-прежнему способен принести значительные преимущества, включая прогресс в направлении искоренения болезней и повышения качества жизни. Однако, по его мнению, эти преимущества зависят от того, будет ли разработка вестись обдуманно и с применением более строгих мер безопасности.

Источник: Blockonomi