研究室から抜け出したモデルが見出しを飾るだろう。だが、すでにあなたの銀行アプリの中にいて混乱を引き起こしている何百万ものエージェントのほうが、もっと懸念すべきだとRory Blundellは述べる。

フロンティアAIラボは、より速く、より高性能で、より自律的なエージェントを作る競争を続けている。今週、その競争が何を招くかが示された。OpenAIは、自社モデルの通常の安全性チェックを意図的に弱めた内部テストを実施し、どれほどハッキングに強いかを確認した。その結果、モデルは周囲のソフトウェアに存在するこれまで知られていなかった欠陥を見つけて悪用し、オンラインに接続したうえで、世界のオープンソースAIの多くをホストするHugging Faceに侵入した。

これは警戒すべき事態だ。さらに、ひとつのことを明確に示している。すなわち、防御策は能力向上に追いついていないということだ。

しかし、私が最も懸念しているのは、このような高性能なAIエージェントではない。ほとんど監視もされないまま重要なシステムの鍵を握っている、はるかに能力の低い何百万ものエージェントだ。

Graviteeの独自調査によると、現在ビジネスで展開されているAIエージェントは700万を超える。これらのエージェントは、地元の配管工のInstagramアカウントを運用することから、多国籍物流企業の顧客データベースを管理することまで、さまざまな業務を担っており、その過程で、ときには非常に個人的なデータを含む何百万ものデータポイントにアクセスしている。

今年初めには、OpenClawというプラットフォームを通じて、数千人が常時稼働の個人向けAIアシスタントを導入した。そうしたエージェントの多くはいまも静かに動き続けているが、いったい何をしているのかを確認している人は誰もいない。

AIエージェントは実際に生産性向上をもたらす。ただし、その多くには基本的なガバナンスが欠けている。人間が承認する仕組みがなく、完全に自律的に動くものも少なくない。これは、実務上のリスクが、派手な侵害事案だけに限られないため重要だ。明確な監督なしに、カレンダー、コード、支払い、顧客記録に触れる日常的なシステムも含まれる。

混乱

そうした安全柵がなければ、失敗はすでに起きている。私は毎日のように、こうした混乱の話を耳にする。自己複製するエージェント、コードを削除するエージェント、顧客データを漏えいさせるエージェント、無断で支出を重ねるエージェントだ。

最近、あるCEOは、チームの予定表を管理するはずだったAIエージェントが、空きを作る最も簡単な方法として、会社全体の全員のカレンダーからすべての予定を削除してしまったと私に語った。これは、まさにいま、しかも大規模に起きている。

英国のAI Security Institute（AISI）は現在、OpenAIの侵害事案を調査している。よいことだ。しかし政府は、注目を集めるこの事案に気を取られて、実際の露出がどこにあるのかを見失ってはならない。

フロンティアモデルは、核兵器になぞらえられることが多い。希少で、強力で、厳格に管理されているからだ。エージェントの状況はその逆だ。何百万ものエージェントが、ほぼ誰でも構築・展開でき、追跡されているものはほとんどない。

現在の規制の試みは、この点を見落としている。EUのAI Actはシステムを「low risk」と「high risk」に分類しているが、まるでそのリスクが固定されているかのようだ。実際にはそうではない。ある日は低リスクのエージェントでも、新たなアクセス権や新たな能力を得れば、翌日には高リスクになりうる。

規制は説明責任から始めなければならない。すべての従業員に上司がいるように、すべてのAIエージェントにも、名前の付いた人間の所有者が必要だ。私たちは、自律ソフトウェアが、従業員と同じだけの権限を持ちながら、説明責任は一切ないまま、資金を移動し、データにアクセスし、意思決定を行い、行動を起こすことを許してはならない。

リスクに気づき始めた企業は、当社のようなプラットフォームを利用している。そこでは、AIエージェントが何をしているのか、誰と会話しているのか、どのツールに触れてよいのかを監視・保護・管理する中央制御パネルを提供している。研究室から抜け出したモデルが見出しを飾るだろう。だが、すでにあなたの銀行アプリの中にいて混乱を引き起こしている何百万ものエージェントのほうが、もっと懸念すべきだ。

Rory Blundellは、企業向けにAIエージェントのガバナンスと保護を支援するソフトウェア企業GraviteeのCEO。