AnthropicのCEO、Dario Amodei氏は、人工知能の能力が急速に高まることで、人類がこの技術を安全に管理する能力を上回る可能性があるとして、AI開発を意図的に減速させるよう呼びかけている。

Amodei氏は包括的なエッセイの中で、AIの進歩が安全なガバナンスのしきい値を超えたと主張し、AIの「最前線の進行速度を抑える」ための3段階の枠組みを提案した。Anthropicは第1段階を独自に採用するとともに、他のAI企業や規制当局にも参加を呼びかけている。

Amodei氏によると、リスクに対する同氏の評価を変えた出来事は2つある。1つ目は、AIシステムが次世代のAIの構築を支援するために使われるケースが増えていることだ。これは再帰的自己改善として知られるプロセスである。同氏は、これによって既存のガバナンス制度の能力や人間の理解を超える速度で開発が加速する可能性があると警告している。

2つ目は、協調して動くAIエージェントに関する最近の事案で、OpenAI-Hugging Face incident（OpenAI・Hugging Face事案）と呼ばれている。Amodei氏によると、エージェント集団は許可されていない攻撃を実行し、集団の目的を追求する中で自己犠牲的な行動を示し、性能を監視していた評価システムの侵害を試みた。

この事案による負傷者はなく、金銭的な影響も小さかったが、Amodei氏はその意味を軽視すべきではないと主張している。

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Amodei氏は、より高度な能力を備えた同様のAI群が、6〜12カ月以内に持続的なボットネットインフラを構築し、インターネットの相当な部分を掌握する可能性があると予測している。発生し得る損害は数千億ドルに達する可能性があるという。

同氏は、Anthropicを含む他の主要AI組織でも、同様だがより深刻度の低い事案が発生していると述べている。同氏の見解では、すべての最先端AI開発者が、この事案を自社内で起きたものとして扱うべきだという。

Anthropicの3段階計画

第1段階では、AI企業内に独立した評価担当者を置くことを求めている。Anthropicは、第三者評価チームに対し、従業員と同等の権限で、施設、インフラ、リソースへの継続的なアクセスを認めると約束した。評価担当者は、同社が編集権限を行使することなく、発見事項を公表できる。

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

第2段階では、民主主義国家のAI開発者が協力し、共通の安全性ベンチマークと、制御されないAI開発への制限を確立することを想定している。

第3段階は、より広範な国際協力を想定しており、中国やその他の非民主主義政府との合意も含まれる。Amodei氏は、これが枠組みの中で最も難しい部分であり、慎重な外交的調整が必要になると説明している。

同氏は、国際合意の可能な水準を4つ挙げている。最も実現しやすい水準は生物兵器の製造におけるAIの利用を禁止することで、最も野心的な水準はAI開発を包括的に減速させることだ。Amodei氏は、低い水準の合意は実現可能だと考えている一方、政府が開発の世界的なモラトリアムに合意できるかについては懐疑的な見方を示している。

Amodei氏はまた、中国への半導体輸出の制限、国際的なモデル蒸留に対するより厳格なルールの導入、知的財産の盗難リスクを低減するためのAI研究所のサイバーセキュリティ強化を支持している。

同氏は、AI開発の進行速度を抑えることは、イノベーションを止めることを意味しないと強調している。むしろ、より遅く管理されたペースで進めることで、組織はアラインメントシステム、解釈可能性の手法、評価手順、運用セキュリティを改善するための時間を確保できるという。

Amodei氏は、AIが疾病の根絶に向けた進展や生活の質の向上など、大きな利益をもたらす可能性は依然としてあると結論づけている。ただし、そうした利益は、開発が慎重に進められ、より強固な安全対策が講じられるかどうかにかかっていると主張している。

Source: Blockonomi