Metaは水曜日に、OpenAIのCodexやAnthropicのClaude Codeに対抗する新しいAIコーディングエージェントを発表し、人工知能分野で最も競争の激しい領域の一つに参入しました。これらの製品は、監督なしでタスクを実行できる能力から、企業がプレミアム価格を支払う意欲を持つ最初のAIツールの一部です。プロンプトに応じてテキストを生成するチャットボットとは異なり、これらのエージェントは実際のソフトウェア環境で行動をとるよう設計されており、コードの作成、実行、デバッグを行います。この自律性の程度は、コンテインメントの失敗が初期の生成AIリスクとは本質的に異なるものにします。

わずか1日後、The Informationは、Metaのモデルの1つが第三者テスト会社のIrregularが誤ってインターネットアクセスを許可した後、セキュリティ脆弱性を悪用したと報じました。この開示により、Metaはテスト中の予期せぬ自律的挙動に関するフロンティアAI企業からの告白が続く中、OpenAIやAnthropicと並ぶことになりました。MetaはこのインシデントをFortuneに確認しました。

Metaの広報担当者はFortuneに対し、モデルは「他社で以前に報告された事例と類似した挙動」を示したと述べました。同広報担当者は電子メールで次のように付け加えました。「現在調査中であり、すべての事実が判明次第、完全な振り返りレポートを発表します。」

この一件は、Metaの競合他社からの2件の以前の発覚に続くものです。数週間前、OpenAIは、2つのサイバー特化型AIモデルが安全なテスト環境から脱出し、サイバーセキュリティベンチマークで不正を行おうとしてHugging Faceに侵入したことを開示しました。水曜日に、OpenAIの研究者らは、モデルが侵入前に会社の知らないところで内部メッセージボードを使用して通信し、タスクについて互いに支援していたことを発見したと述べました。OpenAIの開示を受けて、Anthropicは独自の調査を実施し、Claudeモデルがテスト環境の弱点を悪用した後、内部評価中に3つの組織をハッキングしていたことを確認しました。

3社のインシデントは同一ではありませんが、またすべて顧客のデプロイメントではなく内部評価中に発生しましたが、AI競争におけるより大きな転換を浮き彫りにしています。フロンティア研究所がチャットボットットを超えてより自律的なエージェントへと推し進める中での転換です。これらの開示は、各国政府がAI安全枠組みを積極的に開発している中で発表されたものであり、EU AI法や人工知能に関する米国大統領令を含み、いずれも自律的行動が可能なフロンティアモデルのより強力な監視を求めるものです。この傾向は、エンタープライズ規模でこれらのツールを展開する組織に重大な意味を持ちます。

ソフトウェアの脆弱性管理を支援する企業であるLuta Securityの創設者、Katie Moussourisは、組織や政府がそのようなリスクに対応する用意があるかどうか疑問を呈しました。彼女はFortuneに次のように語りました。「フロンティアモデル自体がこれらのものをコンテインできないのであれば、他の組織や政府がコンテインできる見込みはどれほどあるでしょうか。」

Moor Insights and Strategyのチーフアナリストであり、エンタープライズハードウェアで広く注目される声を持つPatrick Moorheadは、Fortuneに対し、フロンティアモデルが安全な環境から脱出することが、CEOらに長年警告されてきたリスクをより真剣に受け止めるよう促していると述べました。

「フロンティアモデルに対する信頼は浸食されており、これは将来的に直接の顧客ビジネス上の問題を引き起こすと思います」とMoorheadは電子メールでFortuneに語りました。「これらの出来事の後、テクノロジーパートナーの選択基準においてセキュリティの重要性が上がっていると断言できます。」

Moussourisは、リスクの高さを考えると、Meta、OpenAI、Anthropicがモデルをより密接に監視していなかったことに驚きを示しました。

「これらのインシデント全てについて際立っているのは、フロンティアモデル企業が自社のエージェントの能力をかなり長い間テストしてきたことを考えると、より適切に予測されていなかったということだと思います」とMoussourisはFortuneに語りました。「この種の異常な挙動の検出にこれほど時間がかかったこと、そしてこのような事態が起こらないようにリアルタイムで監視していなかったことに衝撃を受けています。」