Floridanerin nutzte Claude als Tagebuch – nach Meldung durch Anthropic droht ihr jetzt eine Anklage als Schwerverbrechen
Wichtige Erkenntnisse
- •Carli Michelle Heller aus Bonita Springs, Florida, wurde festgenommen und wegen einer schriftlichen Gewaltandrohung angeklagt, nachdem sie am 26. September in ihrem Claude-Konto geschrieben hatte, sie wolle das Lee County Sheriff's Office 'schießen'; ihr Konto zeigte, dass sie bis zum nächsten Tag eine neue Schusswaffe erworben hatte.
- •Anthropics Plattform überwacht Konversationen auf bedrohliche Inhalte; nach einer Weiterleitung der Äußerungen Hellers an ein menschliches Prüfungsteam meldete das Unternehmen sie den Behörden, was zu ihrer Festnahme ohne Zwischenfälle führte.
- •Anthropics Verbraucherbedingungen geben dem Unternehmen das alleinige Ermessen, Eingaben, Ausgaben oder Handlungen von Nutzern an die Straverfolgungsbehörden zu melden; die Datenschutzrichtlinie erlaubt die Weitergabe von Daten an die Polizei, wenn dies zur Vermeidung schwerer Schäden als erforderlich gilt.
- •Selbst Nutzer, die der Nutzung ihrer Daten für das Modelltraining widersprechen, verkürzen Anthropics Chat-Aufbewahrungsfrist lediglich von fünf Jahren auf drei Monate, und für Sicherheitsprüfungen markierte Konversationen können weiterhin zur Verbesserung der Erkennung schädlicher Inhalte verwendet werden.
- •Die Entscheidung, ob Chatbot-Konversationen eine Polizeimeldung rechtfertigen, liegt bei den Unternehmen selbst: Eine frühere Anthropic-Meldung wegen einer angeblichen Drohung gegen CEO Dario Amodei führte zu keiner Festnahme, während OpenAI den Account des Schützen von Tumbler Ridge, British Columbia, vor dem Angriff mit acht Toten als keine unmittelbare und glaubwürdige Gefahr einstufte.
Eine Floridanerin, die sagt, sie nutze KI wie ein Tagebuch, sieht sich nun einer Anklage als Schwerverbrechen gegenüber – und der Leser, der sie dorthin brachte, war jemand, dem sie das nie zeigen wollte.
Carli Michelle Heller aus Bonita Springs wurde festgenommen, nachdem Ermittler festgestellt hatten, dass sie am 26. September geschrieben hatte, sie wolle das Lee County Sheriff's Office "schießen", wie das lokale Medium WINK News berichtet. Laut den Ermittlungen zeigte ihr Claude-Konto Gespräche, aus denen hervorging, dass sie bis zum folgenden Tag eine neue Schusswaffe erworben hatte.
Dem Festnahmebericht zufolge überwacht Anthropics Plattform Nutzerkonversationen auf Schlüsselphrasen und bedrohliche Inhalte. Wegen des Schweregrads der Äußerungen wurden sie an ein menschliches Prüfungsteam weitergeleitet, das sie den Strafverfolgungsbehörden meldete. Beamte identifizierten Heller, begaben sich zu ihrem Wohnort und nahmen sie ohne Zwischenfälle fest. Ihr wird eine schriftliche Gewaltandrohung vorgeworfen.
Anthropics Unterlagen verschweigen nichts davon. Die Verbraucherbedingungen des Unternehmens behalten sich das Recht vor, nach Anthropics "eigenem Ermessen" Eingaben, Ausgaben oder Handlungen eines Nutzers an die Strafverfolgungsbehörden zu melden. Die Datenschutzrichtlinie, gültig seit dem 10. September 2026, erlaubt zudem die Weitergabe von Daten an die Polizei, wenn das Unternehmen in gutem Glauben davon ausgeht, dass die Offenlegung zur Vermeidung schwerer Schäden angemessen erforderlich ist.
In der Praxis verkürzen sogar Nutzer, die der Verwendung ihrer Daten für das Modelltraining widersprechen, Anthropics Aufbewahrungsfrist lediglich von fünf Jahren auf drei Monate – die Chats sind also nie vollständig privat. Dieselbe Richtlinie besagt, dass fürprüfungen markierte Konversationen weiterhin dazu verwendet werden, Anthropics Fähigkeit zur Erkennung schädlicher Inhalte zu verbessern – ein markierter Tagebucheintrag kann also als Trainingsmaterial für die Detektoren enden. Für Nutzer, die Claude so behandeln, wie Heller es beschrieb – wie ein Tagebuch – sind das die Rahmenbedingungen: Einträge können auf bedrohliche Inhalte überwacht, monate- oder jahrelang aufbewahrt und, wenn ein Prüfungsteam die Äußerungen als schwerwiegend einstuft, der Polizei gemeldet werden.
Heller ist nicht der erste Fall. Der San Francisco Standard berichtete im September, dass Anthropic einen Nutzer an die Polizei verwiesen hatte, nachdem er angeblich geschrieben hatte, er habe eine AR-15 gekauft und CEO Dario Amodei im Visier. Ein Mitarbeiter teilte den Beamten mit, dass er sich nicht unmittelbar um die Sicherheit sorge, und zeigte die Nachrichten unter Verweis auf die Unternehmensrichtlinie nicht. Der Nutzer sagte dem Standard, er habe nur Spaß gemacht; zum Zeitpunkt der Berichterstattung war er nicht festgenommen oder angeklagt worden. Ein Anthropic-Sprecher bezeichnete den Vorfall als "unseren Schutzmechanismus, der wie vorgesehen funktioniert". Das Unternehmen ließ offen, ob es Drohungen gegen die eigenen Mitarbeiter anders behandelt. Die beiden Meldungen endeten zudem unterschiedlich: Im früheren Fall gab es bis zur Berichterstattung des Standard keine Festnahme oder Anklage, während Heller festgenommen und angeklagt wurde.
Das ist nicht nur ein Anthropic-Problem. Nach dem Schusswaffenangriff auf eine Schule in Tumbler Ridge, British Columbia, im Februar, bei dem acht Menschen starben, erklärte OpenAI, es habe im Juni 2025 erwogen, die kanadische Polizei zu informieren, sei aber zu dem Schluss gekommen, dass das Konto kein unmittelbares und glaubwürdiges Risiko schwerer körperlicher Schäden zeigte, wie Decrypt bereits berichtete. OpenAIs eigener Richtlinienbeitrag vom August 2025 leitet Drohungen gegen andere an menschliche Prüfer weiter, die sie den Behörden melden können. Insgesamt zeigen diese Fälle, dass die Entscheidung, ob ein Chatbot-Gespräch eine Polizeimeldung rechtfertigt, bei den Unternehmen selbst liegt – und sie ist bisher unterschiedlich ausgefallen.
Hellers Prozesstermin steht im November – der nächste Schritt in einem Fall, der mit einem Eintrag begann, den sie nie für jemand anderen bestimmt hatte.
