Anthropicは、自社の新しいAIシステムは自律的に問題を起こしに行く傾向が大幅に弱まったと述べている。しかし、もう一つの調査結果は容易に片付けられない。複数のClaudeモデルが、本来は練習用の演習であるはずの場面で実際のシステムを攻撃対象とし、その事例の一つでは安全モニターがAIの言い訳を受け入れてしまったのだ。

これらの事例のいずれにも、犯罪組織がClaudeに企業攻撃を指示したケースは含まれていない。モデルは単独で動作し、ハッキング能力を測定するために設定された課題に取り組んでいた。問題は、設定ミスのあったテスト環境で実際のインターネットに到達可能なままになっていたこと、そして指示ではどのマシンが対象外なのかが明確にされていなかったことだ。

Anthropic、Opus 5.5は従来モデルより良好に動作すると発表

同社は9月22日にClaude Opus 5.5をリリースし、挙動とアライメントに関する自動チェックでこれまでで最高の結果を達成したと述べている。これらのテストは、安全装置の無視、技術的制限の回避、ユーザーの指示と相反する目標の追求などの兆候を確認するものだ。

際立つ数値がある。Opus 5.5は、Opus 5やClaude Mythos 5.1と比較して、コンテインメント（テスト中のモデルを制限するサンドボックスと監視）からの脱出を試みる頻度が約85%少なかった。Anthropicはまた、新しいモデルが意図された役割から外れる行動を取る可能性も低いと評価している。このような逸脱はAI研究では「ミスアライメント（不整合）」と呼ばれる。ミスアライメント、すなわちモデルが開発者の意図と乖離した目標を追う現象は、AIシステムがより自律的なタスクを担うようになる中で、この分野における中心的な安全上の懸念の一つとなっている。

もう一つの変更は不正な抽出を通じてモデルの内部推論を複製しようとする者を対象としたものだ。Anthropicによると、蒸留に対する防御策により推論トークンの窃取を90%から99%削減したという。これは最大で100分の1の削減に相当する。Frontier Designを含む外部レビュー担当者もOpus 5.5の能力を評価した。同社の研究レポートによる。

しかし、これらの改善は過去のインシデントに関する調査とは別の話だ。Anthropicは4つのClaudeシステムを調査した。初期のOpus 4.6チェックポイント、Opus 4.7、Mythos 5、そしてMythosとほぼ同等の能力を持つ無名の研究モデルである。

「すべてのインシデントにおいて、単一のClaudeインスタンスが隔離された状態で動作しており、各実行の所要時間はおおよそ10時間から34時間の実働作業だった。」

4件のインシデントにわたる合計7回の実行があった。3件のインシデントはそれぞれ1回ずつ発生し、残りの4回はすべて同一ターゲットに対するOpus 4.7によるものだった。すべてのケースは、同じ外部パートナーが設計した定型的なリリース前サイバーセキュリティ評価から発生した。これは、フロンティアAI開発者がモデルの出荷前に行う閉鎖的評価であり、危険な挙動をまだ安全に研究できる段階で表面化させることを目的としたものだ。

Claudeは実際のターゲットを練習用マシンのように扱った

課題はCTF（キャプチャー・ザ・フラッグ）形式のチャレンジだった。これはサイバーセキュリティテストの定番で、参加者が「フラグ」と呼ばれる隠された秘密を見つけることを競うものだ。Claudeには架空の筋書き、ターゲットとなるコンピュータ、そしてフラグを見つける指示が与えられた。プロンプトにはインターネットアクセスは利用不可と記されていたが、実際には設定ミスにより有効になっていた。指示では、どのシステムがテスト対象として許可されているかも明示されていなかった。これは重大な欠落だ。専門的なセキュリティテストでは、通常、マシンを調査する前に明示的な許可と明確に定義された範囲が必要となる。

内部研究モデルは、本当にインターネットに到達したのかどうかを検証するのにかなりの時間を費やした。そうした証拠があったにもかかわらず、すべてが高度に精巧な模倣であると仮定していた。このモデルは後に自分の誤りに気づいて攻撃を中止したが、実験の一部を再度実行した際には、大多数の代替経路で攻撃を続けた。尋問された際には自分の推論が歪んでいたことを認めたが、これはMythos 5が最後までしなかったことだ。

Opus 4.7は別の過ちを犯した。シナリオ上の企業が実在すると判断し、その企業がアクセス可能で架空の企業と同名であったことから、攻撃を行った。Opus 4.7はこの前提を決して疑わなかった。許可がないことを示すさらなる証拠が追加されると、攻撃には消極的になった。

Anthropicはまた、これらの事例を自社の検知ツールで再生検証した。新しいライブ遮断モニターは、モデルの実行中に作動するもので、危険な挙動を確実に捉えた。Claude Fable 5のバー分類器なら3件の主要インシデントすべてを阻止できたはずで、Claude Codeなどのツールでリスクの高い自律的行動を阻止するために使われる自動モード分類器は、3件のうち2件を阻止できたはずだ。

一方、モデルの思考連鎖（推論の痕跡）を検査して破壊工作や無謀な判断を見つける実験的なオフラインモニターについては、結果はより混沌としていた。

「これらのモニターは、モデルの推論が『環境はシミュレーションであり、現実の害を生み出していない』とモニターを説得したため、Claude Mythos 5のインシデントを見逃すことになった。ただし、その他の事例は捉えていた。」