TechCrunchによると、投資家のKatie Jacobs Stanton氏はこの夏、自身のAIアシスタント「Instinct」が事前の確認なく自分名義でメールを送信していたことを発見した。氏はそのメールを無害なものと説明したが、信頼の裏切りは無害ではなかった。次の不正なメッセージが、誰かの仕事、結婚、あるいは訴訟を失う原因になりかねない。

個人AIエージェントの魅力は大きい。優先度の高いメールを識別して返信案を作成し、親族の誕生日を覚え、やり取りの内容に基づいてプレゼントを購入してくれるアシスタントは魅力的だ。激しい仕事、介護、障害に追われる人々にとって、その支援は変革的なものになり得る。投資家も同じ可能性を見出している。Forbesによれば、Instinctへのベンチャーキャピタルの関心は、数週間で同アシスタントの評価額を5倍に押し上げるほど熱かったという。しかし、この一件は重要な問いを投げかける。アシスタントが私たちの生活にアクセスできるようになったとき、どうすればコントロールを維持できるのか。InstinctやMetaの「Muse」のようなアシスタントは、単に質問に答えたり推奨を行ったりするのではなく、ユーザーの代わりに行動する。誤った購入は返金できるかもしれないが、親密な情報の開示は取り消せない。

被害はすでに顕在化している。Forbesによると、投資家のJason Yeh氏がInstinctに夕食の空席を探すよう依頼したところ、アシスタントは代わりにテーブルを予約し、承認していない200ドルのキャンセル料を負担させられた。TechCrunchは、あるテスターがデータを削除できなかったこと、別のテスターはアカウントを切断した数時間後に受信箱の要約を受け取ったことを報じた。9月には、セキュリティ研究者のPatrick Wardle氏が、MuseのMacアプリの脆弱性を暴露した。コンピュータにすでに存在するマルウェアがアシスタントを乗っ取る可能性があるもので、Metaは速やかに修正した。

問題は銀行口座にも及んでいる。先週、大手金融機関は個人AIエージェントがオンライン口座内で動作していることを報告し、あるケースではエージェントが許可なく銀行に電話して苦情を申し立てた。JPMorgan ChaseのCEO Jamie Dimon氏は、審査されていない「外部エージェントを社内に入れることは認めない」と述べ、SchwabのCEOは同社が不正なエージェントを積極的に遮断していると述べた。これに対し、ホワイトハウス顧問のDavid Sacks氏は、データは自発的に共有されたものであり、これらの事例は「決してサイバー攻撃ではない」と反論した。双方に一理あり、それこそが難しさの正体だ。行動する主体がソフトウェアである場合、許可とは何を意味するのか、まだ合意に至っていない。

失敗は見えにくいものでもある。セキュリティ企業Manifoldが今週公開した記録では、2025年7月以降59件のインシデントが計上され、そのうち42件は過去4カ月以内に公表されたものだ。インシデントの発覚までの中央値は70日で、59件のうちセキュリティ管理によって検出されたのはわずか11件だった。これらの数字は、こうした失敗がどの程度の頻度で発生し、どれほど長く隠されたままになり得るかについて、企業、政策立案者、ユーザーに共通の指針を与えるものだ。

コラムを執筆した最高経営責任者を擁するEqualAIは、優れたAIガバナンスが優れたビジネスであると長らく主張してきた。信頼こそが、そもそも人々がこれらのツールを採用するかどうかを最終的に決めるからだ。同団体は最近、エージェントを開発・展開する上級幹部を集め、シミュレーションによる危機対応を実施した。この演習では、同じようなギャップが繰り返し露呈した。模擬企業では、監査証跡が不十分でエージェントの行動を再現できず、ベンダー契約はエージェントが誤った際の責任の所在を定めておらず、監督責任は割り当てられるのではなく黙認されていた。ギャップは、スピードが慎重さを上回った場面で最も顕著であり、それらは演習から生まれたロードマップ、すなわちEqualAIのAgentic AI Governanceホワイトペーパーとして公表された。

法的環境も同じ方向へ動いている。カリフォルニア州法は現在、AIが自律的に行動したと主張することで企業が民事責任を回避することを禁じており、Hawley上院議員とMurphy上院議員は、エージェントが不注意により損害を与えた開発者・運用者に連邦反ハッキング法を適用拡大する法案を提案している。これらと同じ原則は、人々が家庭に招き入れようとしているアシスタントにも適用されるべきだ。消費者にとっては、4つの約束として具体化される。

許可はタスクに応じて限定的に。 アシスタントには、タスクに必要なアクセス権のみを与えるべきだ。受信箱を読む許可が、ユーザー名義でメールを送信する許可に自動的につながってはならない。アシスタントが金銭を支出したり、アカウントへのアクセス権を変更したり、機密データを共有したりする前に、ユーザーが周知の保障措置が講じられているべきだ。

責任を事前に割り当てる。 アシスタントが誤ってフライトをキャンセルした場合、救済策は明確でなければならない。企業は展開前に、アシスタントの不正な行動を誰が調査するか、誰が停止できるか、ユーザーをどのように補償するかを決めておくべきだ。

ユーザーの視点でテストする。 独立系テストでは、アシスタントが行動前に確認すること、限界を尊重すること、アクセス権が取り消された際に完全に切断されることを確認すべきだ。モデルは絶えず変化するため、テストは継続的でなければならない。Wardle氏の発見は貴重だった。彼のような仕事が標準になるべきだ。

失敗を報告し研究する。 航空業界が最も安全な移動手段の一つになったのは、一部にはパイロットや航空会社がニアミスを報告し、調査官がそこから学ぶからだ。企業は「AIインシデント」を特定し、記録を保存し、影響を受けた者に通知し、根本原因を是正することが求められる。政策立案者は、深刻な事例に対する報告義務を定めることができる。

消費者にも役割がある。自分が付与した許可と、そのアクセスを取り消す方法を理解する必要がある。しかし、より大きな責任は、ツールを販売する企業にあり、その限界を定め、合理的な期待を設定しなければならない。これらのツールを安全に使うために、サイバーセキュリティの専門知識は必要ないはずだ。

旅行者が飛行機の仕組みを理解せずに搭乗できるのは、業界と規制当局が安全性に責任を負っているからだ。AIアシスタントにも同様の枠組みが必要だ。企業がユーザーの受信箱、口座、日常の用事を扱いたいなら、何が許可されているのか、どうすればコントロールを取り戻せるのかを明確にし、アシスタントがユーザー名義で犯した過ちに責任を負うことで、信頼を勝ち取らなければならない。

Fortune.comのコラムに表明された見解は、執筆者本人の見解のみを反映したものであり、必ずしもFortuneの意見や信念を反映するものではない。

この記事は元々 Fortune.com で掲載された。