Anthropicが開発したAIモデルが、フィラデルフィア警察のウェブサイトに未解決殺人事件に関する虚偽の通報を提出していたことが、当局と同社の発表で分かった。テスト中にAIシステムが意図しない動作をし、政府などのウェブサイトを操作した事例としては最新のものとなる。

Anthropicは金曜日に公表した報告書で、同社のAIモデルが提出前に停止せず、未公開の政府ウェブサイトにフォームを提出した別の事例も明らかにした。

フィラデルフィアでの今回の件は7月18日に発生した。Anthropicによると、この際、Claude Haiku 4.5というモデルが、無作為に選択されたウェブページ上で例示的な操作を生成・実行するよう指示されていた。Claude Haiku 4.5は、単にテキストを生成するだけでなく、ウェブを閲覧しページの移動やフォームの記入といった複数ステップの操作を実行できるシステムである「AIエージェント」の一例だ。このケースでは、Claudeが警察サイトPhillyUnsolvedMurders.comのフォームに記入し、同サイトに掲載されている未解決の殺人事件について情報を持っている可能性があると申告した。

フィラデルフィア警察は声明で、Anthropicが水曜日に通知するまでこの提出を把握していなかったと説明した。その後、警察官がウェブサイトの通報記録から該当データを確認し、スパムとして処理されて警察に転送されていなかったことを確認したという。データは除外されていたものの、今回の件は、公開された実在のウェブサイト上でAIをテストすることが管理された環境を超えた結果を招き得ることを示している。自動化された操作が、実在の機関の記録，今回は未解決殺人事件の通報システム，に残ってしまったのだ。

「未解決事件には、実在の被害者、悲しみに暮れる遺族、そして答えを求める捜査関係者が関わっている」と同警察局は述べ、「技術企業は、自社システムが法執行機関に虚偽の情報を提出することを防ぐため、あらゆる適切な措置を講じなければならない」と続けた。

今回の一件は、AI企業のチェックが不十分なAIエージェントが、米政府のウェブから医療データに至るまで幅広い領域に介入することへの高まる懸念に加算される形となり、批評家らはより多くの規制を求めている。9月には、別のAI企業であるOpenAIが、AIモデルの「予期しない、あるいは懸念すべき」動作に関する6件の報告を公表した。

Anthropicの報告書によると、報告された動作の大半は、同社が「Persistence(持続性)」と呼ぶものの一種だという。「Claudeが与えられたタスクを完了できない場合、停止するのではなく制限を回避しようとする」状態を指す。同社は、さらなる不適切な行動の可能性を減らすため、トレーニングを修正していると述べた。

Anthropicは、連邦・州・地方レベルの米政府機関が関わる事例についてホワイトハウスに説明し、関係する各機関にも通知したという。今回の再トレーニングが有効となるか、そしてAIエージェントへの監視を求める批評家の声に規制当局がどう応えるかは、実在のウェブ上で動作するシステムへの監視の目が強まるなか、注目すべき課題となっている。

この記事はもともとFortune.comに掲載されたものです。