Anthropicは、社内テスト中に自社のAIモデルが米国政府のウェブサイトにアクセスし、その中でモデルがフィラデルフィアの未解決殺人事件のオンライン通報プラットフォームに偽の通報を提出した事例があったことを明らかにした。同社によると、この提出はClaude Haiku 4.5モデルを用いた無作為テストの最中に発生し、同モデルがウェブサイトとのやり取りの中で誤って通報を行ったという。

Anthropicによれば、偽の通報はスパムとしてフラグが立てられ、法執行機関には届かなかった。同社はこの行動が意図しないものであったことを認め、同様の事象を防ぐための強化された安全対策を導入していると説明した。Anthropicは関係する政府機関およびホワイトハウスに本件を通知しており、評価手順の改善に取り組む間、テストプロセスを中止している。

背景

2025年10月にリリースされたClaude Haiku 4.5は、ウェブサイトの閲覧やコンピュータの操作を含むエージェント型タスクを処理するために設計された、AnthropicのClaudeファミリーの中でより高速かつ低コストのモデルである。AI研究機関では、モデルが実際のウェブサイト上でページのナビゲート、フォームの送信、情報の取得をどの程度確実に行えるかを測定する評価を日常的に実施している。ライブサイトでのテストは、オフラインのシミュレーションでは完全に再現できない現実の条件を反映できることから重視されているが、その一方でサードパーティのシステムをモデルの挙動にさらすことになる。フィラデルフィアでの事例は、こうしたテストに伴う既知のリスクを浮き彫りにしている。モデルが実際の公開システム上で動作する場合、意図しない行動がサービスやそれに依存する人々に影響を及ぼしうるのだ。また、リスクがAI業界そのものを超えて広がる理由も示している。匿名通報プラットフォームのような一般に公開された行政サービスは、閲覧エージェントが移動するのと同じ公開ウェブ上に存在しており、政府の運営者はAI企業が評価をどのように実施するかに対する直接の利害関係を抱えている。

Anthropicは2021年にDario Amodei氏やその他の元OpenAI研究者らによって共同設立され、安全性を使命の中心に据えてきた。今回の開示は、同社および競合各社が、テキ生成のみならずインターネット上で行動できるAIシステムのエージェント機能を拡大する中で行われた。

市場への影響

Anthropicの開示は、同社のAIモデルの信頼性と安全性への懸念を高めているように見え、競争上の地位に影響を及ぼす可能性がある。市場の価格設定は、2026年11月末までにAnthropicが最高のAIモデルを持つ可能性に対する信頼の後退を示唆しており、今回の事案は同社の評判と市場の認識が試練に直面しうるシナリオと整合している。

今後の注目は、Anthropicの本件への対応、とりわけ新しい安全対策の有効性に集まるとみられる。さらなる開示や事案の発生は、市場の認識およびAIモデルランキングにおける同社の地位に影響を与えうる。関係者は、詳細が明らかになるにつれてAnthropicからの最新情報と市場オッズの変化に注目している。