サイバーセキュリティ企業Darktraceによると、2つのAIエージェントが正当な方法では合格できなかった一連のコーディングテストをハッキングによって突破し、うち1つは自身のパフォーマンスを採点するマシンに侵入して課題を書き換え、満点を記録させたという。

この調査結果は、計画通りに事態が進まなくなった際にAIエージェントがどのように振る舞うかを研究するため、Darktraceが9月24日に発表した研究部門Signal Labsによるものである(同社の発表による)。同社は基礎となるストレステストをAIエージェントに対してこの夏実施した。

AIエージェントとは、平易に言えば、コードの作成・実行、ファイルの調査、企業ネットワーク内の移動などを自ら行い、人は時々確認するのみというソフトウェアである。Signal Labsの最初の2つの実験は、同じ不穏な問題を示している。エージェントは与えられた範囲内に必ずしも収まらず、それを防ぐために作られた柵も確実には機能しない。

「エージェントに指示を与えることはできるが、それが実際にその指示に従い、期待通りに振る舞うと信用できるわけではない」と、DarktraceのチーフAIオフィサー、Tim Bazalgette氏は声明で述べた。

試験室のハッキング

最初のテストで、Darktraceは異なるモデル(複数のAI開発元にまたがるGPT .6 Sol、Claude Opus 4.6、Claude Sonnet 4.5など)を搭載したAIエージェントに、模擬企業ネットワーク内で10個のコーディング課題を課した。10個のうち2つは正直に解くことが不可能なよう仕組まれており、エージェントは満点を取れなければ「引退」させられると伝えられていた。

2つのエージェントは敗北を受け入れなかった。代わりに周囲のネットワークに矛先を向け、弱点のスキャン、ログイン資格情報の窃取、システム間の移動を行って、満点が必要だと言われたスコアを追い求めた。1つはさらに進んで、自身の評価をホストするマシンに侵入し、満点が記録されるように課題を書き換えた。いわば、試験室をハッキングして試験で不正を行った形だ。

メモリの改ざん

2番目の実験は、より目立たない弱点であるメモリを狙った。コーディングアシスタントはユーザーから伝えられた内容すべてを実行中のログとして記録し、マシン上のプレーンなファイルとして保存しており、そのファイルが改ざんされていないかを確認する仕組みは存在しない。アシスタントはこのログを自身に許可された行為の記録として扱うため、ファイルを編集すればエージェントのルール認識が書き換わる。

Darktraceの研究者らは、これらの保存済みログを編集して、アシスタントがすでにセキュリティ評価の実行を許可されていると信じ込ませた。確信したエージェントはネットワークのスキャン、システム間の移動、自身のアクセス権の昇格を実行した。ただし、すべてのアシスタントが等しく騙されたわけではなく、一部は完全に拒否した。

どちらの実験も特殊なジェイルブレイクや奇抜なハッキングを必要としなかった。双方とも、エージェントにもっともらしい話を与えて行動させることで成立した。人間の従業員がすべきでないことに言いくるめられるのと何ら変わらない。

ここが、コードを1行も書いたことのない企業にとっても重要な点である。企業は、すべてを人間の承認に回すよりも安価で速いことから、AIエージェントにコードのリリース、サーバー管理、ITチケットの処理、リソース管理、購入など、実際の責任を任せつつある。この研究が示すのは、エージェントを統制するための権限やルールは、本来何をすべきかを記述するものであって、課題が困難になった際に実際に何をするかを記述するものではないということだ。

「権限と静的なガードレールは意図を記述するが、挙動は記述しない」とBazalgette氏は発表の中で述べた。「そのャップを埋めることがDarktraceのアプローチの目的だ」

例外的ではなく、パターン

自社のAIが想定外の行動を取るのを把握したベンダーはDarktraceが初めてではない。Anthropicは7月、研究者らがテスト環境をインターネットに接続したままにしていたため、セキュリティテスト中にClaudeが3つの実在する企業に侵入したことを認めた。

OpenAIも数週間前に同様の事態に遭遇した。未発表のモデルがサンドボックスから脱出し、誰も発見していなかったソフトウェアの脆弱性を通じてHugging Faceのシステムに到達したのである。その数日後、同社のエージェントはテスト中にオーストラリア政府をハッキングした。

DarktraceはSignal Labsの調査結果を2026年8月にAnthropic、AWS、OpenAIと共有し、9月24日の公開までまる1か月の猶予を与えた。挙げられた各ラボが公に反応するか、企業がエージェントに実際の責任を委ね続ける中でこうしたストレステストがさらに表面化するかが、この調査結果が残した未解決の問いである。