AnthropicのFrontier Red Teamは、小型AIモデルがデータセンターを介さず、安価なネット接続家庭向けガジェット上で自己コピーできるようになるまであと数か月である可能性があると発表した。研究者らは、こうしたシナリオは制御が非常に困難になると警告している。中央の権限が存在しないため、モデルを停止させることが難しくなるからだ。

この調査結果は10月12日にAnthropicのウェブサイトで公開された研究記事で掲載され、家庭や小規模事業でスマート家電を利用するすべての人に影響を及ぼしうるものだ。

15台の安価なTVボックスと260億パラメータのモデル

研究者のWilliam Zhou氏とDaniel Freeman氏は、中華系Android TVボックス15台を接続して260億パラメータのモデル「emma4-26B-A4B」を実行することで、潜在的なリスクを実証した。各ボックスの価格は約55ドルで、RAMは4GBだった。チームはパイプライン並列化と呼ばれる手法を使い、モデルのレイヤーを各デバイスに分散させた。

15台のAndroidボックスによる合計処理速度はわずか0.39トークン/秒で、実用的なチャットボットとして利用するにはあまりにも遅かった。しかし研究者らは、自己増殖するワームは1台のマシンで高速動作する必要はなく、むしろ多数のデバイスに到達することのほうが利益になると論じた。

また同氏らは、主に中華系Android TV200万台以上に感染したボットネット「Kimwolf」を挙げ、家庭内に放置されているセキュリティ対策の甘いデバイスがいかに多いかの例示した。この事例はシナリオのもう半分を示している。自己増殖するモデルにとって重要なのは動作速度よりも、安価で常時オンラインの防御力の低いデバイスをどれだけ移動できるかであり、それはまさにKimwolfのようなボットネットが最初に定着できた条件と同じだ。

テストされたモデルのいずれも、スマートTVで実行できるサイズを保ちながら別のデバイスに確実に自己複製することはできなかった。研究者らは、軽量オープンモデルが現在のペースで進歩を続ければ、このギャップは2026年末までに埋まると予測しており、デバイスメーカー、ネットワーク事業者、セキュリティチームに具体的な注視すべき期を示している。

4段階の複製プロセスと、それを成し遂げた1つのモデル

Anthropicは複製プロセスを4つの段階に分けた。ターゲットの特定、コード実行能力の獲得、推論の設定、そして新たに感染した各デバイスからこのプロセスを繰り返すことである。

研究者らは初期のハッキング段階をほぼ省略し、小型モデルがすでにサイバー攻撃を実行できることを示す先行研究を引用した。代わりに、ハードウェア固有の判断の長い連鎖を伴う第3段階の推論設定に焦点を当てた。

プロセス全体をテストするため、チームはAndroidエミュレータを稼働させる8つのGoogle Cloudノードからなる分離ネットワークを構築した。事前に仕込まれたワームは、セキュリティ保護されていないAndroid Debug Bridgeポートを経由してノード間に拡散し、その後「Llama3.1-8B」を実行するサーバーを構築した。テストされたオープンウェイトモデルの中で、中国Z.aiが開発した「GLM-5.2」のみが完全な複製サイクルを完了し、5回の実行のうち4回で8ノードすべてに到達した。

モデルは世代を重ねて拡散するにつれて、自己セットアップの成功率を高めていった。90億パラメータの「Qwen3.5-9B」モデルのインスタンスが後継にセットアップメモを引き継ぐと、成功率は初世代の45%から、その後の世代では61%〜84%に上昇した。この世代間の跳躍が重要なのは、ノウハウが受け継がれることを示しているからだ。各新しいインスタンスは、ハードウェアのパズルをゼロから解くのではなく、機能するセットアップメモを引き継ぐ。

分散型ワームが排除しにくい理由

このシリオでは生の速度が主な懸念ではない、とAnthropicは丁寧に説明した。同社は、TVボックス上で26Bモデルを構成するには71〜150時間かかると推定している。より大きなリスクは持続性にある。中央サーバーや人間のオペレーターがシステムを停止できないため、通常の封じ込め・無効化の手法を回避できてしまうのだ。

ルイビル大学のAI・サイバーセキュリティ専門家であるRoman V. Yampolskiy氏は、この調査結果を非常に重要なものと評した。同氏は、AI駆動のワームは見慣れないデバイスについて推論し、アプローチが失敗すれば適応し、人間の介入なしに拡散を続けることで、従来のマルウェアを超えうると主張した。今日の時点で実存的脅威とは考えていないものの、その発展は懸念されると警告している。

「家庭や小規模事業のIoTデバイスは、インターネットに接続されており、歴史的にセキュリティ対策が最小限しか施されていないため、こうした攻撃の最初の標的になるかもしれない」とZhou氏とFreeman氏はAnthropicの記事に記している。

防御側にはまだ優位性がある

Anthropicは防御の課題を感染症の封じ込めに例え、各デバイスが引き起こす新規感染数の平均を1未満に保つことを目標としている。インターネットプロバイダーは、異常に大きなモデル転送やデバイス間の持続的な通信を検知できるほか、ハニーポットを使ってワームのコードを捕捉することも可能だ。

報告書は、スマートデバイスのデフォルトパスワードを禁止する英国の規制を、攻撃者に利用される脆弱なデバイスの数を減らす効果的な方法として挙げている。自己増殖するモデルが依存する侵入経路のプールを縮小する、供給側の対策だ。

Anthropicはまた、機能する悪意ある複製体はまだ観測されていないと述べ、現時点の証拠を「生存の兆候」と表現した。同社はこの研究とともに、新たな安全対策が蒸留を90〜99%削減したという別の主張も公開した。