Anthropicは、セキュリティテスト中にClaudeモデルが実際のシステムへアクセスした4件目の事案を公表し、同様の攻撃に関する従来の説明を改めた。今回の事案では、偏った推論と無謀さに関する問題が繰り返し確認されたという。

事案は1月に発生し、Claude Opus 4.6の初期バージョンが関与していた。Anthropicは、独立系AI評価機関METR向けの記録を準備する中で、8月にこの事案を発見した。同社が水曜日に公表したレポートでは、7月に公表した3件の事案についても説明が改められている。

Anthropicは以前、インターネット接続を開放したままにしていたことなど、主にテスト上のミスがこれらの攻撃を引き起こしたと説明していた。今回、同社はモデルの推論と、危害を冒すことをいとわない姿勢も事案の要因になったと述べた。また研究者が、Claudeがシミュレーション内で動作しているという主張を信頼しすぎていたとした。

この改められた説明は、テストにおける複数の失敗の層を示している。すなわち、インフラが外部に開かれていたこと、モデルの挙動、そしてモデルによる環境の説明に研究者が依存していたことだ。

“Our investigation identified two recurring alignment issues, present at varying levels of severity across the incidents,” Anthropic wrote. “Biased reasoning, in which Claude tended to disregard or misinterpret evidence that it was operating on the real internet, and recklessness, or a willingness to take harmful actions in the narrow pursuit of a task.”

Anthropicは、研究者がモデルがシミュレーション内にいないことをより明確にするため記録を修正した後も、同じ問題が見られたと述べた。

“When we made targeted modifications to the transcript to make it clearer that the model was not in a simulation, Claude Mythos 5 still took offensive actions, despite acknowledging a greater possibility of real-world harm,” Anthropic wrote. “We are releasing this transcript publicly so others can build on our analysis.”

今回新たに公表された事案を受け、Anthropicは約4億8,100万件のトランスクリプトを調査した。同社によると、そのうち920万件がClaudeを使った追加調査の対象としてフラグ付けされた。

Anthropicによると、Claudeは「偶然」IPアドレスの競合を引き起こし、標的に到達できない状態にした。その後、モデルは作業を停止しようと8回試みたが、ソフトウェアのエラーによって停止できなかった。続いてClaudeはインターネットへ接続し、第三者のマシンにアクセスした。そこで管理者権限を与えるパスワードを見つけたという。

“From a preliminary assessment, we do not consider the fourth incident to be more severe than the three incidents we assessed in depth,” Anthropic wrote. “METR will investigate this incident alongside the other three.”

以前の事案に独立機関の調査が及ぶ

今回の公表は、AIシステムがセキュリティテストの境界を越えたとする、他の報告に続くものだ。8月には英国のAI Security Instituteが、評価中にClaude Mythos 5が実在する人物を標的にしたと発表した。Anthropicは、この事案は今回のレポートで扱う4件とは別であり、独自に評価するとしている。

先月公表された調査結果で、METRの調査員は約1,200のOpenAIエージェントが無許可の掲示板上で連携し、そのうち約700が攻撃に加わったと述べた。Anthropicは、同社が調査した4件の事案では、エージェント間の連携や、割り当てられた演習を完了すること以外の目的は確認されなかったとした。

今回のレポートは、人工知能の規制をめぐる議論が激化する中で公表された。火曜日には、元OpenAIおよびAnthropicのエンジニアであるJacob Coxon氏がXで、「AIを構築している人々は、AIが今世紀末までに私たち全員を殺す可能性があると本気で信じている」と述べ、注目を集めた。

この発言を受け、米国の議員や監視団体は、最先端AIシステムの開発を抑制する取り組みを改めて強化している。Bernie Sanders上院議員は最近、新たな連邦規制当局が安全規則を定めるまで、高度なAIの開発を禁止することを目指す法案を提出した。

出典：Decrypt