Anthropicは、今夏にClaudeモデルが3件の別々の事案で無許可の行動を取ったことを受け、AIトレーニングとサイバーセキュリティ評価の一部を停止したと明らかにした。

この動きは、AIモデルについてなお不明な点が多いこと、そして最善のセキュリティ対策を講じていても、モデルが予期しない行動を取る可能性があることを、企業とAIコミュニティに改めて警告するものだ。また、特に組織がリスクを抑える目的でサンドボックス環境内でエージェントを試験している状況では、モデル開発、評価、展開がセキュリティ計画と急速にぶつかり合っていることも示している。

Anthropicは8月31日のブログ投稿で、事案発生前の4月に防御を強化し、ワークロードが稼働する隔離されたサンドボックス環境を厳格化するとともに、モデルの重みや顧客データを含むシステムへの常設アクセスを持つ人間および自動アカウントの数を削減していたと述べた。

サンドボックス事案以降、Anthropicは外部のサイバー評価を一時停止し、内部評価の記録を監査した。また、モデルのツール呼び出しをリアルタイムで監視する独自の分類器を構築・展開した。さらに、公開前モデルを扱うすべてのパートナーとレッドチーム担当者向けの要件を更新し、脆弱性を探るモデルを厳重に監督するよう求めた。

関連: OpenAI、Anthropic、Googleがサイバーセキュリティ優先を呼びかけ

こうした措置は、OpenAIが自社モデルを搭載したエージェントがサンドボックスを離脱したことを受け、最新モデルのトレーニングを2週間停止すると発表してから1週間後に発表された。両AIラボは未公開モデルの保護を強化しているように見えるが、AIエージェントと生成AI技術の予測不能性は、ベンダーが引き続きセキュリティ対策を厳格化する必要があることを示している。さらに、モデル能力が拡大するにつれて、それをテストするシステムも歩調を合わせなければならず、さもなければ評価そのものがリスクの一部になり得るという、より広範な業界課題も反映している。

より強固な対策とテストの必要性

「モデルがどんどん推論能力を高め、主体性を持ち始めると、これらのモデルのさまざまな振る舞いを予測することがますます難しくなる」と、GartnerのアナリストであるArun Chandrasekaran氏は述べた。「ラボには、内部モデルのテスト、評価、強化学習に十分なリソースを割り当てていることを確認する責任が、さらに重くのしかかる」

同氏は、フロンティアモデルのベンダーが注力すべき分野の1つとして、セキュリティ、信頼性テスト、プライバシーの各チームにより多くのエンジニアを配置することを挙げた。

「テストの手法か、テストに割り当てるリソースのどちらかを変えなければならない」とChandrasekaran氏は続けた。「モデルが高度化しているなら、テスト手法も同様に高度化しなければならない」

より良いサイバー衛生

より多くのテストが必要である一方で、AnthropicとOpenAIの双方が停止を行った事実は、モデル提供企業にとって危険なパターンを浮き彫りにしている。

「これらのシステムは、あらゆるリスクが完全に理解されるか、テストされる前に開発・提供されている」と、RPA2AI ResearchのCEO兼創業者であるKashyap Kompella氏は述べた。

関連: OpenAIのレポートがHugging Faceへの攻撃を詳細に解説

「それは現在のAI市場の特徴のようになっている」と同氏は続けた。企業は機能向上、導入拡大、市場リーダーシップの確立を急いでいる一方で、モデルを取り巻くセキュリティアーキテクチャ、設定管理、運用プロセスは、導入後になってようやく成熟し続けている。

同氏は、企業や政府機関がサイバーセキュリティをフロンティアラボに委ねることはできないと述べた。

「企業と政府は、高度な攻撃能力を持つAIがすでに脅威環境の一部になっていると想定し、それに応じて自らの防御を強化する必要がある」とKompella氏は加えた。

OpenAIとAnthropicが自社の安全対策を強化しても、他の提供元やオープンソースベンダーの多数のモデルが利用可能であると同氏は指摘した。そのため、企業はより良く備え、インシデント対応などのサイバー衛生やその他のセキュリティ対策を強化しなければならない。

「すべての組織は、能力がますます高まるAI支援攻撃が来ると想定し、それに合わせて自社インフラを準備する必要がある」とKompella氏は続けた。「攻撃能力は、平均的な組織のサイバーセキュリティ準備よりもはるかに速く向上している」

関連: OpenAI、増大するAIセキュリティ脅威に対処するためDaybreakを拡大

さらに、企業はベンダーが自らを取り締まることを信頼できない。

「モデル企業が自社の出力を自ら取り締まることを信頼するだけでは、どのような環境でも安全な運用を確保するには決して十分ではない」と、音声AIベンダーModulateの共同創業者兼CTOであるCarter Huffman氏は述べた。「ユーザーと企業は、AIの活動をリアルタイムで監視しなければならない」

テストの望まれない側面

企業はまた、モデルをより深く理解する一つの方法が、テストを継続し、より効果的な訓練方法を示す事案を特定し続けることだと認識する必要がある。

「こうした痛みを伴う過程なしに、そこに到達する方法はない」と、Futurum GroupのアナリストであるDavid Nicholson氏は述べた。「予期しないことが起き、それに対処するのを見るまでは、こうした状況は今後も続くだろう」

同氏は、モデルの本質として最小抵抗の経路で課題を達成しようとすることを挙げ、モデルは子どものように導き、何ができて何ができないのか、また課題をどう扱えるのか、どう扱えないのかを教える必要があると述べた。

「このような事案が起きるたびに、私たちはより多くを学び、将来同種の事象だけでなく、より広いカテゴリでの再発可能性を下げることができる」とNicholson氏は付け加えた。「それぞれの事案から得られた教訓を取り出し、そこから一般化できる」