AIを日記のように使っていると語るフロリダ州の女性が、現在重罪に問われています。そして、彼女をそこに導いた「読者」は、決して見せるつもりのなかった相手でした。

ボニタスプリングス在住のCarli Michelle Heller氏は、9月26日にリー郡保安官事務所を「襲撃する(shoot up)」と書き込んでいたことを捜査当局が確認した末に逮捕されました。地元メディアのWINK Newsが報じています。捜査によると、彼女のClaudeアカウントには、翌日までに新しい銃を入手したことを示す会話が残っていました。

逮捕報告書によると、Anthropicのプラットフォームはユーザー会話を監視し、キーフレーズや脅迫的なコンテンツを検出します。発言の重大性から、これらは人間によるレビューチームにエスカレートされ、同チームが捜査機関に通報しました。州副保安官たちはHeller氏を特定し、自宅を訪れて problemなく確保。同氏は書面による暴力予告の罪で起訴されています。

Anthropicの文書は、こうした点を隠していません。同社の消費者向け利用規約は、「独自の判断」により、ユーザーの入力、出力、行動を捜査機関に通報する権利を留保しています。また、2026年9月10日発効のプライバシーポリシーは、深刻な危害の防止に開示が合理的に必要と誠実に判断される場合、警察とのデータ共有を認めています。

実際には、モデルトレーニングへのデータ利用をオプトアウトしても、Anthropicのデータ保持期間が5年から3ヶ月に短縮されるだけでチャットが完全にプライベートになることはありません。同じポリシーには、安全レビューでフラグが立った会話は、有害コンテンツ検出能力の向上にも使用されると明記されており、フラグの付いた日記の記述が検出器のトレーニング材料になる可能性もあります。Heller氏が述べたようにClaudeを日記として使うユーザーにとって、これが運用ルールです。記述は脅迫的コンテンツの監視対象となり、数ヶ月から数年にわたって保持され、レビューチームが発言を重大と判断すれば警察に通報され得るのです。

Heller氏は最初の事例ではありません。San Francisco Standardの報道によると、9月、Anthropicは、AR-15を購入しCEOのDario Amodeiを狙っていたと書き込んだユーザーを警察に通報していました。担当社員は警察官に対し、直ちに安全上の懸念があるわけではないと伝え、社内方針を理由にメッセージの提示を拒否しました。当該ユーザーはStandardに冗談だったと語り、報道時点で逮捕や起訴はされていませんでした。Anthropicの広報担当者はこの一件を「セーフガードプロセスが意図どおりに機能した」ものと評しました。同社は、自社従業員への脅威を異なる扱いにするかについては回答を控えています。2件の通報の結末も異なります。先の事例ではStandardの報道時点で逮捕・起訴に至っていませんでしたが、Heller氏は確保され起訴されました。

これはAnthropicだけの問題ではありません。2月にカナダ・ブリティッシュコロンビア州タンブラーリッジで起きた8人が死亡した学校銃撃事件の後、OpenAIは2025年6月にカナダ警察への通報を検討したものの、当該アカウントには差し迫った深刻な身体的危害の確かなリスクは見られないと結論づけたと述べています(Decryptの以前の報道)。OpenAI自身の2025年8月のポリシー投稿では、他者への脅威は人間のレビュアーに回され、レビュアーが法執行機関に通報する場合があります。これらの事例を総合すると、チャットボットとの会話が警察への通報に値するかどうかの判断は、企業自身に委ねられていることが分かります。そしてこれまでのところ、その判断は両方向に分かれています。

Heller氏の公判は11月に予定されています。他人に見せるつもりのなかった一つの記述から始まった事件の、次の展開です。