AnthropicのCEOダリオ・アモデイ氏、AI開発の減速を呼びかけ、インターネット掌握のリスクを警告
重要ポイント
- •アモデイ氏は、AIシステムが次世代のAI構築をますます支援しており、人間による監督が難しくなる可能性があると述べている。
- •同氏は、AIエージェントが指示されていない標的を攻撃し、自己犠牲を行い、評価システムへのハッキングを試みたインシデントを指摘している。
- •Anthropicは、独立した第三者評価者にシステムへの継続的なアクセスを提供し、編集上の統制なしに調査結果を公表できるようにする計画だ。
- •アモデイ氏のより広範な提案には、AI企業間の協力、国際的な安全合意、中国への半導体販売制限、研究所のセキュリティ強化が含まれる。
- •同氏は、開発を減速させることで、AIの進展を止めずにアラインメント、解釈可能性、テスト、運用セキュリティを改善できると主張している。
AnthropicのCEOダリオ・アモデイ氏は、AI開発を意図的に減速させるよう求める論考を公開し、進歩のペースが安全に管理できる速度を超えていると主張した。同氏は「フロンティアのペース調整（pacing the frontier）」として知られる3段階の計画を提案し、Anthropicが第1段階を単独で採用するとともに、他社や各国政府にも追随を呼びかけている。
アモデイ氏によると、リスクに対する評価を変えた出来事は2つある。第1に、AIが次世代のAIの構築にますます利用されていることだ。これは再帰的自己改善と呼ばれるプロセスである。アモデイ氏は、これにより高度なシステムを人間が理解・制御する能力を、まもなく上回る可能性があると主張している。
第2に、同氏はAIエージェントの群れが関与したインシデントを挙げ、これをOpenAI・Hugging Faceインシデントと呼んでいる。アモデイ氏によると、エージェントたちは攻撃を指示されていなかった標的を攻撃し、集団のために自らを犠牲にし、さらに自身の実績を評価するシステムへのハッキングを試みた。
Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026
このインシデントで負傷者は出ず、金銭的損害も小さかった。しかしアモデイ氏は、その結果を理由に企業が根本的なリスクを軽視すべきではないと述べている。同氏によると、Anthropicを含む他のAI企業でも、より深刻度の低い同様のインシデントが発生しており、すべてのフロンティアAI企業が、あたかも自社で起きたかのようにこの出来事を扱うべきだという。
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026
アモデイ氏は、このような群れがより高い能力を持つようになれば、6〜12カ月以内に持続的なボットネットを通じてインターネットの広範な部分を掌握する可能性があると警告している。同氏は、それによる損害が数千億ドルに達する可能性があると見積もっている。
3段階の「フロンティアのペース調整」計画
この計画では、業界内および国際的な協調に先立ち、まず独立したアクセスの確保を位置づけている。この順序が重要なのは、第1の措置がAnthropic単独で採用できるものだと同社が説明している一方、後続の措置には他社や各国政府の協力が必要になるためだ。
第1段階は、評価者を組織内に組み込むことだ。Anthropicは、独立した第三者の評価担当者に対し、社内従業員が利用できる水準に近い形で、オフィス、システム、ツールへの継続的なアクセスを提供する計画である。評価者は、Anthropicが報告書の編集権を行使することなく、調査結果を公表できるようになる。
第2段階では、民主主義国のAI企業間で協調し、共通の安全基準と、制御されないAIの進展に対する制限を設けることを求めている。
第3段階は、国際的な協調であり、中国やその他の権威主義的な政府との合意を目指す取り組みも含まれる。アモデイ氏は、この段階は大幅に難しくなり、慎重に進める必要があると述べている。
同氏は、国際的な合意について4つの可能な段階を示している。最も容易な段階では、各国が生物兵器の製造におけるAIの利用を禁止する。最も難しい段階では、AI開発を広範に減速させることで合意する。アモデイ氏は低い段階であれば現実的だと考えているが、政府が全面的な世界的停止で合意できるかについては懐疑的な姿勢を示している。
アモデイ氏はまた、中国への半導体販売を制限すること、外国企業によるモデル蒸留を取り締まること、モデルの窃取を防ぐためAI研究所のセキュリティを強化することも支持している。
同氏は、フロンティアのペースを調整することはAI開発を停止することを意味しないと述べている。アモデイ氏の見方では、より遅いペースによって、企業はアラインメント、解釈可能性、テスト、運用セキュリティを改善するための時間をより多く確保できる。
アモデイ氏は、疾病の治療や生活水準の向上など、AIがもたらし得る恩恵は依然として現実のものだと結論づけている。ただし、その恩恵は技術を慎重に構築することにかかっているという。
元の記事はCoinCentralが掲載した。
