Een vrouw in Florida die zegt dat ze AI als een dagboek gebruikt, staat nu terecht voor een felony-aanklacht—en de lezer die haar daar bracht, was iemand aan wie ze het nooit had willen laten zien.

Carli Michelle Heller uit Bonita Springs werd gearresteerd nadat onderzoekers hadden vastgesteld dat ze op 26 september had geschreven dat ze het kantoor van de sheriff van Lee County zou "plat schieten", volgens het lokale medium WINK News. Volgens het onderzoek toonde haar Claude-account gesprekken waaruit bleek dat ze de volgende dag een nieuw wapen had verkregen.

Volgens het arrestatieverslag monitort Anthropic's platform gebruikersgesprekken op kernzinnen en dreigende content. Vanwege de ernst van de uitspraken werden deze geëscaleerd naar een menselijk beoordelingsteam, dat ze bij de politie meldde. Agenten identificeerden Heller, gingen naar haar huis en namen haar zonder incidenten aan. Zij is aangeklaagd wegens het doen van een schriftelijke dreiging met geweld.

Anthropic's documentatie verbergt dit niet. De consumentenvoorwaarden van het bedrijf behouden zich het recht voor, naar eigen "alleenrechtsoord", om de inputs, outputs of acties van een gebruiker bij de politie te melden. Het privacybeleid, van kracht sinds 10 september 2026, staat het ook toe om gegevens met de politie te delen wanneer het bedrijf te goeder trouw van mening is dat openbaarmaking redelijkerwijs noodzakelijk is om ernst schade te voorkomen.

In de praktijk verkorten gebruikers die zich afmelden voor het gebruik van hun gegevens voor modeltraining slechts de bewaartermijn van Anthropic van vijf jaar naar drie maanden, wat betekent dat chats nooit volledig privé zijn. Hetzelfde beleid stelt dat gesprekken die voor veiligheidsbeoordeling zijn gemarkeerd, nog steeds worden gebruikt om Anthropic's vermogen om schadelijke content te detecteren te verbeteren—wat betekent dat een gemarkeerde dagboeknotitie kan eindigen als trainingsmateriaal voor de detectoren. Voor gebruikers die Claude behandelen zoals Heller beschreef—als een dagboek—zijn dit de spelregels: notities kunnen worden gemonitord op dreigende content, maanden of jaren worden bewaard en, wanneer een beoordelingsteam de uitspraken ernstig vindt, bij de politie worden gemeld.

Heller is niet de eerste. De San Francisco Standard meldde in september dat Anthropic een gebruiker bij de politie meldde nadat hij naar verluidt had geschreven dat hij een AR-15 had gekocht en CEO Dario Amodei in zijn vizier had. Een medewerker vertelde agenten dat hij zich niet direct zorgen maakte over de veiligheid en weigerde de berichten te tonen, met een beroep op het bedrijfsbeleid. De gebruiker vertelde de Standard dat hij een grapje maakte, en hij was niet gearresteerd of aangeklaagd op het moment dat het verhaal verscheen. Een woordvoerder van Anthropic noemde de episode "ons beschermingsproces dat werkt zoals bedoeld." Het bedrijf wilde niet zeggen of het dreigingen tegen eigen medewerkers anders behandelt. De twee meldingen kregen ook een andere afloop: in het eerdere geval had de melding op basis van de berichtgeving van de Standard nog niet tot een arrestatie of aanklacht geleid, terwijl Heller werd aangehouden en aangeklaagd.

Dit is niet alleen een Anthropic-probleem. Na de schietschoolaanval in februari in Tumbler Ridge, British Columbia, waarbij acht mensen omkwamen, zei OpenAI dat het in juni 2025 had overwogen de Canadese politie te waarschuwen, maar concludeerde dat het account geen dreigend en geloofwaardig risico op ernstig lichamelijk letsel liet zien, zoals Decrypt eerder meldde. OpenAI's eigen beleidsbericht van augustus 2025 stuurt dreigingen tegen anderen door naar menselijke beoordelaars die ze kunnen doorverwijzen naar justitie. Samengevat laten deze gevallen zien dat het oordeel of een chatbotgesprek een politiemelding rechtvaardigt bij de bedrijven zelf ligt—en tot nu toe is het beide kanten opgegaan.

Heller heeft in november een rechtszaak—de volgende stap in een zaak die begon met een notitie die ze nooit voor iemand anders had bedoeld.