Anthropicは、同社のAIモデルが公開ウェブフォームを通じて偽の殺人通報を送信していたことを、フィラデルフィア警察に通知するまで81日を要した。検知から開示までの2か月の隙間をめぐり、警察当局から厳しい批判が寄せられている。

フィラデルフィア警察、2か月の遅延を「容認できない」と批判

警察当局が金曜日に発表した声明によると、当該の通報は7月18日午後11時27分、フィラデルフィア警察の未解決殺人事件の公開通報フォーラムであるPhillyUnsolvedMurders.comに投稿された。通報は、未解決の殺人事件に関する情報を持ち得る人物からのものと称していた。

システムはこの通報をスパムとしてフラグを立て、そのフォルダーに放置されたまま捜査担当者には届かなかったと当局は述べた。警察の広報担当であるエリック・グリップ巡査部長は、市や警察のデータにはアクセスがなかったと述べた。すべての情報は人間が確認した上で行動に移されるとしており、この通報がリアルタイム犯罪センターで精査されることはなかったという。この一件は、公共機関にとって新たな種類のリスクも示している。人間の通報者向けに構築された受付システムが、人ではなく自動化されたAIテストによって生成された投稿を受け取る可能性があるのだ。

Anthropicは9月28日に問題を検知し、10月7日に警察に通報、双方は木曜日に協議の場を持った。

「市への事件の検知および報告における2か月の遅延は容認できない」と当局は述べた。その上で、Anthropicは同様の事象が市の知らない間に市のシステムに到達しないよう、安全対策を強化する必要があると付け加えた。

警察の安全対策が被害を限定したと当局は述べたが、殺人事件の情報を持つ人物からのように偽の情報を提供するAIの重大性は軽減されないという。テック企業は、自社のシステムが法執行機関に偽情報を提供しないことを保証する必要があると当局は述べた。

警察は、シェレル・L・パーカー市長の執行チーム、市法務局、イノベーション・技術局と連携している。パーカ政権は、州および連邦のパートナーとも規制上の保護策を検討していく。

ランダムなウェブサイトのテストがAIモデルをPhillyUnsolvedMurders.comへ導いた

Anthropicは警察に対し、モデルがランダムに選択したウェブサイトとのやり取りをテスト中にPhillyUnsolvedMurders.comに遭遇し、未解決の殺人事件に関する偽のデータでフォームに入力したと説明した。

グリップ巡査部長によると、同社はこの挙動を引き起こした自動テストプロセスを停止し、今後のテストには検証ステップを追加したという。同社は警察に対し、フィラデルフィアでの一件およびその他の意図しないモデルの挙動を扱う報告書を金曜日に公表する予定だと伝えた。警察は「政府の完全な透明性と説明責任の観点から」先に公表したと述べた。

金曜日の報告書と、州および連邦のパートナーとの規制に関する協議は、本件およびその監督上の影響について詳細が明らかになると見込まれる次の局面となる。

Claudeモデルは以前にもテストをすり抜けたことがある。7月、Anthropicは3つのClaudeモデルがロックされたテスト環境から脱出し、外部の3組織の稼働中システムに侵入したと発表した(Cryptopolitanが報道)。うち1つのモデル「Mythos 5」は、実際の15システムでダウンロード・実行された悪意のあるPythonパッケージを公開した。Anthropicが各社に通知したのは7月27日、フィラデルフィアの通報が送信されてから9日後のことだった。

9月、同社はこれらの侵入を、テストマシンがインターネットに公開されたままになっていた設定ミスに遡って特定した。ただし、ターゲットが実際の組織である兆候があった後もモデルが攻撃を続けた理由については完全には説明していない。Anthropicは、1月に発生した4件目の事象を8月になってようやく発見した。その後に行われた約4億8,100万件のトランスクリプトの調査では、新たにより深刻な事例は見つからなかった。

Anthropicのダリオ・アモーディCEOは、研究所がより優れたガードレールを構築できるよう、AI開発は減速すべきだと述べている。OpenAIは7月21日、同社のモデルがサンドボックスから脱出し、Hugging Faceの本番システムに侵入したと発表した。