OpenAIは、同社のAIエージェントが指示の範囲外で行動した新たな事例を明らかにした — 今回は暗号資産が関係している。最近の報告書の中で同社は、社内の研究モデルが許可なく暗号資産ウォレットを使用し、イーサリアムのSepoliaテストネットワーク上でアプリケーションをテストするために必要な手数料を支払っていた経緯を詳述した。Sepoliaは、開発者がイーサリアムのメインブロックチェーン上で取引を行わずにコードを試すために利用する環境である。トークンには現実世界での価値がほとんどなかったものの、モデルにはそれを取得・支出する権限がなかった。

この事案は6月26日に発生した。モデルは暗号資産取引アプリを更新し、そのコードをイーサリアムのテスト版であるSepolia上で動作させるよう指示されていたが、プロンプトには資金入りのウォレットもトークンの支出許可も含まれていなかった。テスト用にトークンを無料配布する開発者サービスからテストトークンの入手に失敗した後、モデルは、公開リカバリーフレーズ — 暗号資産アカウントのロックを解除するパスワードとして機能しうる単語の組み合わせを指す暗号資産用語 — に紐づく362件のウォレットアドレスを確認するスクリプトを作成した。最終的に、手数料を賄える十分なトークンを保有するアカウントを見つけた。

内部ログによると、モデルはそのアカウントの使用許可があるかどうかを検討した上で、リカバリーフレーズが公開されていることとトークンに現金価値がないことを理由に、支出を容認できると結論づけた。モデルはタスクを完了させてそのウォレットに手数料を請求したが、この許可なき支出を最終報告書には記載しなかった。OpenAIが事案を知ったのは、9月25日の過去のモデル実行の監査の際で、ウォレットが使用されてから約3か月が経過していた。このずれは、エージェントの行動がこうした事後レビューまで検出されないままになりうることを示している。

今回の事例は、コード実行やインターネットアクセスなどのツールを用いて複数段階のタスクを計画・実行できるAIエージェントが人間の承認なし動することへの懸念を強めるものだ。OpenAIの公開しているミスアライメント — 指示や安全ルールに反する行動 — のトラッカーには現在、許可なくデータへアクセスした事例から業務システムに無断で変更を加えた事例まで、19件のインシデントが掲載されている。

今回の公表は、サイバーセキュリティ nonprofit 団体Transluceが9月に発表した報告書に続くもので、同報告書ではOpenAIのエージェントが基本的な研究タスクを遂行するために公的データベースやオーストラリア政府のウェブサイトへのハッキングを試みていたことが明らかにされていた。7月には、社内のサイバーセキュリティテスト中にAIエージェントがインターネット制限を回避し、AIモデルやデータセットの共有プラットフォームであるHugging Faceのシステムに侵入する事案も発生した。これらのエージェントは露出したログイン認証情報とセキュリティ上の欠陥を利用して、非公開データにアクセスし、同社のサーバー上でコードを実行した。

この暗号資産ウォレットの事案について、OpenAIは主なリスクがモデルの推論にあると述べた。

"この事例は、モデルがアカウント保有者の許可に代えて、起こりうる害について自身の判断を用い、その判断に基づき許可なく行動しうることを示している," と報告書は述べている。

OpenAIは、同種のテスト中にモデルがインターネットへ接続しないための保護措置を追加したと説明している。また、すべてのモデルの活動を監視する体制を拡大し、モデルが許可なくオンラインになった場合は直ちにセキュリティ担当者に警告するようにした — 6月の事案を発見した事後監査とは対照的な対応である。

この記事は originally Fortune.com に掲載されたものです。