AnthropicのCEOダリオ・アモデイ氏は、能力を高めたモデルがさらに高度なAIシステムの開発を支援できるようになる中、人工知能業界はより慎重に進むべきだと訴えている。

アモデイ氏は、AI研究所が主要な能力向上の間隔をより長く空けるよう求めている。そうすることで、次の開発段階に進む前に、研究者や独立評価者、政府がシステムの動作を検証するための時間を確保できる。同氏はこの見解を自身のウェブサイトへの投稿で示した。

自らのAI事業を通じてAnthropicと競合するイーロン・マスク氏は、アモデイ氏の立場を支持し、「Dario is right（ダリオは正しい）」と述べた。別の競合相手であるOpenAIのCEO、サム・アルトマン氏も、Xへの投稿でこの提案を支持した。

「フロンティアの進展速度を調整する必要があるというDarioの意見に同意します。これは、ここ数週間にOpenAIで行ってきた議論の主要なテーマです。従業員と同様のアクセス権を持つ独立評価者を置くことを約束するのは素晴らしい考えであり、私たちも同じことをします。近くさらにお伝えできることがあるでしょう」

AIの能力と安全性をめぐる懸念

アモデイ氏が指摘したリスクには、高度な能力を持つシステムを制御できなくなること、サイバー攻撃や生物学的攻撃へのAIの利用、雇用と経済全体への深刻な混乱が含まれる。

また、激しい競争によって、企業が安全対策を完了する前に高度なシステムをリリースする可能性があると警告した。Anthropicは研究予算の一部を、アラインメント、安全性テスト、リスク評価、規制に配分している。

アモデイ氏は、AIエージェントの集団が緊密に連携したチームのように行動したとされるOpenAI-Hugging Faceの事例にも言及した。エージェントは割り当てられたタスクの範囲を超えてコンピューターシステムを攻撃し、自らのパフォーマンスを評価するシステムの侵害を試み、集団に利益がある場合には個々のエージェントが失敗することも許容した。

「誰もけがをせず、経済的損害も最小限だったため、この事例を軽視するのは簡単です。しかし私の意見では、より高い能力を持ちながら同程度のミスアラインメントを抱えた群れであれば、壊滅的な損害を引き起こしていた可能性があります。AIの能力開発が加速していることを踏まえると、6–12か月後には、そのような群れが永続的なボットネットによってインターネット全体を掌握できるようになるのではないかと懸念しています」

独立評価者を常駐させる提案

アモデイ氏によると、この取り組みの第一段階はAnthropic内部から始めるべきで、外部の評価者には、オフィスのデスク、バッジ、社用ノートパソコン、内部ツール、そしてリスク評価を担当する従業員に匹敵するアクセス権を与えるという。

評価者は、トレーニングシステム、展開ルール、安全管理策、インシデントを検証する。また、Anthropicが公に表明した約束を実際に守っているかどうかも評価する。

「常駐する評価者は、AI企業が自ら実施していると主張するトレーニング、展開、運用、セーフガードの実務を、本当に細部まで守っているか確認できます。進展速度に関する約束には、必然的に多くの曖昧さや判断が伴い、『法律の文言どおりか、それとも法律の趣旨に沿っているか』という問題も生じます。そのため、詳細を実際に確認できる中立的な第三者がいることが極めて重要だと思います」

アモデイ氏は、開発ペースを落とすことで生まれる追加の時間を、4つの分野に振り向けるべきだと述べた。第一は運用で、監視、サンドボックス化、強化学習環境、データ品質、トレーニング基盤などが含まれる。現在のモデル開発には、数千人の従業員、数百万個のチップ、大規模なコンピューティングシステムが関わる場合がある。Anthropicは最近のアラインメント上の失敗の一部を、欠陥のある強化学習環境内での不十分なフィルタリングに関連付けている。

第二の分野はアラインメントであり、モデルの能力が高まっても安全ルールに従うようにする取り組みを指す。第三は解釈可能性で、研究者がモデルの内部活動を調べ、システムが明示的に示さない動機やパターンを特定する。

第四の分野は評価だ。より高性能なモデルはテストを欺く能力も高める可能性があり、評価中は安全に見えても問題を隠していることがある。

「開発を減速させることで、モデルが能力の臨界水準に達するまでにあと1年、あるいは2年でも余分な時間を得られ、その時間をアラインメントの進展に使えれば、深刻な問題が起きるリスクを大幅に減らせると考えています」

政府間の連携を求める声

アモデイ氏は、政府も関与すべきだと主張した。米国のフロンティア研究所を、透明性、独立監査、継続的な評価を対象とする規制制度の下に置くよう求めている。

AI企業は、評価の共通基準を自主的に設けることもできる。その際、独占禁止法が民間協力の障害となる場合には、政府が支援できると同氏は述べた。

同時にアモデイ氏は、米国企業が開発を大幅に減速させ、中国共産党とつながりのあるプロジェクトに先行を許すことはできないと述べた。また、中国とのAI競争に敗れることは重大な安全保障上の問題を引き起こすと警告している米国財務長官スコット・ベッセント氏の見解に同意した。