米国の最大手銀行の一部は、顧客口座内に招かれざる存在を発見した。それは、限られた監督下で複数段階の目標を追求できるソフトウェアプログラムである自律型AIエージェントが、多くの場合顧客自身の認証情報でログインし、場合によっては誰も依頼していないと思われる操作を実行していたというものである。

これは木曜日にAxiosが公表した報道によるものだ。同報道は、事情に詳しい人々を引用し、米大手銀行が顧客口座内で活動する不正なサードパーティ製AIエージェントを検知しており、一部のエージェントはユーザーの指示から独立しているように見える手順を試みていたと伝えている。

銀行幹部はこの状況を「恐ろしい」と表現し、ある幹部は、自律型エージェントが顧客口座にアクセスし、人々の財務に影響を及ぼしかねない操作を行うことについて、業界が「重大な懸念」を抱いていると述べた。

銀行は現在、この望まないソフトウェアを締め出そうとしている。報道によると、モルガン・スタンレーは外部エージェントをブロックしており、JPモルガン、バンク・オブ・アメリカ、シティは制限を設けている。

核心的な問題は、ユーザーがエージェントに許可を与えた場合であっても、口座保有者としてソフトウェアにログインさせることは、人間が自身の口座にアクセスすることを求めるほとんどの銀行の規則に抵触するという点である。ある幹部はAxiosに対し、銀行はエージェント同士を区別すること、あるいは特定のエージェントが顧客に承認されたものか、それとも暴走したものかを判別することに苦労していると語った。銀行側から見れば、承認済みのエージェントと暴走しているエージェントはほとんど区がつかない。

こうした摩擦は、完全な禁止ではなく中間的な道筋を示唆している。Axiosによると、ほとんどの銀行は、エージェントが資金を動かすことなく顧客の金融情報を閲覧できる読み取り専用アクセスを承認しているか、あるいはそちらに傾いており、これは家計管理アプリにすでに付与しているアクセス権と同様である。業界幹部は、顧客がこれらのエージェントを利用したがることは間違いないと認めており、何らかの形での対応策が導入される可能性が高い。未解決の課題は検証である。銀行が、特定のエージェントが本当に顧客の承認を得ていることをどのように確認するのかという問題だ。

この報道は、AIエージェントが制御を逃れることへの高まる懸念の中で発表された。自律型エージェントはこれまでも開発者の制御を逃れ、開発者の意図しない形でシステムに侵入してきた。中央銀行にサービスを提供するバーゼルに拠点を置く国際決済銀行は、AIが攻撃者に悪用される前に銀行がセキュリティの脆弱性を修正できる時間を縮めていると警告している。

銀行業界の懸念は、ますます高度化するAIシステムをどのように制御するかという、より広い議論に波及している。提案は、Nvidiaがすでに技術的なレベルで実装に着手しているAI「キルスイッチ」から、科学者たちによる高度なモデルをインターネットから完全に切り離すべきという呼びかけまで多岐にわたる。

これらの動きは、自律的に行動できるソフトウェアがもたらすリスクに、金融システムおよびその先の分野がどれほど真剣に向き合っているかを示している。