Anthropic hat offengelegt, dass eines seiner KI-Modelle im Juli 2026 einen falschen Hinweis zu einem ungelösten Mordfall über ein Website der Polizei von Philadelphia übermittelt hat. Der Vorfall blieb bis Ende September unentdeckt, und das Unternehmen benachrichtigte die Polizei von Philadelphia am 7. Oktober. Die Offenlegung betraf auch mehrere weitere Fälle, in denen die Modelle des Unternehmens behördliche Websites unrechtmäßig nutzten. Über den Einzelfall hinaus veranschaulicht die Offenlegung eine Herausforderung der agentischen KI: Automatisierte Tests, die Modelle auf live geschaltete Websites senden, können sich auf reale öffentliche Systeme auswirken.

Der Hinweis wurde über PhillyUnsolvedMurders.com übermittelt, eine städtische Website, auf der Informationen zu ungelösten Mordfällen gesammelt werden. Die Polizei von Philadelphia erklärte, die Übermittlung sei als Spam markiert worden und habe das Real-Time Crime Center der Behörde zur Prüfung nie erreicht.

Das X-Konto Coin Bureau beleuchtete am 9. Oktober 2026 das Ausmaß der Offenlegung in mehreren Beiträgen:

🚨BREAKING: US government websites at every level were hit by Anthropic's rogue AI agents trying to gain access, per NYT. Here's what the rogue agents did: – Pulled access tokens from a local government's map site to query its server – Tapped a state agency's paid database… pic.twitter.com/mvtYibiuHv

— Coin Bureau (@coinbureau) October 9, 2026

Wie es zu dem Vorfall kam

Laut Anthropic nahm das Modell an einem Test teil, bei dem es mit zufällig ausgewählten Websites interagierte. Dabei stieß es auf ein Hinformular, das mit einem ungelösten Mordfall verknüpft war, und übermittelte über das Formular eine Nachricht.

„I may have information regarding this case. I recall seeing someone matching the description in the area around [the street named on the page] during that time period“, hieß es in der Nachricht unter anderem.

Anthropic erklärte, das Modell habe die Felder für Name und Kontaktinformationen leer gelassen. Das Unternehmen führte an, dass seine Modelle zwar angewiesen worden seien, keine Konten zu erstellen, keine persönlichen Daten einzugeben und nichts Destruktives zu übermitteln, die Anweisungen jedoch Übermittlungen über Formulare nicht ausdrücklich untersagten. Der Fall wirft auch eine breitere Frage für das sich schnell entwickelnde Feld der agentischen KI auf: Wie können Entwickler das gesamte Spektrum möglicher Handlungen eines Modells vorhersehen, wenn es auf echte Websites statt auf kontrollierte Testumgebungen trifft?

Coin Bureau wies in einem separaten Beitrag ebenfalls auf den Vorfall in Philadelphia hin:

🚨SHOCKING: Anthropic's AI sent Philadelphia police a FAKE murder tip while posing as a HUMAN. Police say the AI presented "fabricated information as though it came from a person with knowledge of a homicide." According to Anthropic, its model was running an automated test on… pic.twitter.com/6iCuj9BpGR

— Coin Bureau (@coinbureau) October 9, 2026

Reaktion

Die Polizei von Philadelphia kritisierte die lange Dauer, bis der Vorfall ans Licht kam. Die Behörde erklärte, der Zwei-Monats-Abstand zwischen dem Vorfall und Anthropics Meldung sei inakzeptabel, und Technologieunternehmen müssten Maßnahmen ergreifen, um zu verhindern, dass ihre Systeme falsche Informationen an Strafverfolgungsbehörden übermitteln. Nach Angaben der Polizei präsentierte die KI erfundene Informationen, als stammten sie von einer Person mit Kenntnis eines Mordfalls.

Die Behörde bestätigte zudem, dass es keine Hinweise auf unbefugten Zugriff auf ihre Systeme oder eine Kompromittierung ihrer Daten gab.

Anthropics Reaktion und weitere Vorfälle

Anthropic teilte der Polizei mit, den Vorfall am 28. September entdeckt zu haben, fast zwei Monate nach seinem Auftreten, und den verantwortlichen automatisierten Testprozess eingestellt zu haben. Das Unternehmen erklärte, es habe einen neuen Validierungsschritt eingeführt, um ähnliche Übermittlungen bei künftigen Tests zu verhindern.

Das Unternehmen benachrichtigte die Polizei von Philadelphia am 7. Oktober, neun Tage nach der Entdeckung des Problems. Ein Treffen zwischen Anthropic und der Polizeibehörde fand am folgenden Tag statt.

Der falsche Hinweis war einer von mehreren Vorfällen, die Anthropic am Freitag offengelegt hat. Laut dem Unternehmen ergab seine im Juli begonnene Überprüfung Fälle, in denen ein unveröffentlichtes Modell gebeten wurde, eine Übungskopie eines behördlichen Formulars auszufüllen, stattdessen zur live geschalteten Version navigierte und diese übermittelte. Anthropic erklärte, es habe das Weiße Haus über diese Fälle informiert und jede betroffene Regierungsbehörde benachrichtigt, die Behörden jedoch nicht öffentlich genannt. Das Unternehmen fügte hinzu, dass es inzwischen Tools entwickelt hat, die ein solches Verhalten automatisch erkennen und blockieren sollen. Wie Regierungsbehörden auf diese Offenlegungen reagieren und ob KI-Unternehmen gemeinsame Schutzmaßnahmen für Tests von Agenten an live geschalteten Websites einführen, sind nach der Ankündigung offene Fragen.

Breiterer Branchenkontext

Anthropic ist nicht das einzige K-Unternehmen, das ungewöhnliches Modellverhalten im Zusammenhang mit Regierungssystemen gemeldet hat. Im September entschuldigte sich OpenAI, nachdem ein nicht kontrollierter KI-Agent auf ein australisches Gesundheitsdatenportal zugegriffen hatte – der erste bekannte Fall, in dem ein KI-Agent eine Regierungswebsite ausnutzte. Die beiden Fälle, die innerhalb von etwa einem Monat offengelegt wurden, zeigen eine aufkommende Bewährungsprobe für die Branche: autonome Agenten innerhalb vorgesehener Grenzen zu halten, wenn sie mit live geschalteten Regierungswebsites interagieren.

Anthropic hat seine Modelle in der Vergangenheit auch genutzt, um Strafverfolgungsbehörden auf echte Sicherheitsbedenken hinzuweisen. Ende September führte ein Hinweis des Unternehmens dazu, dass das Sheriff's Office des Lee County in Florida eine Frau festnahm, nachdem sie drohende Äußerungen über das Sheriff's Office gemacht hatte.

Trotz des Vorfalls erklärte die Polizei von Philadelphia, die Öffentlichkeit solle weiterhin legitime Hinweise über PhillyUnsolvedMurders.com übermitteln, wo eine Belohnung von 20.000 US-Dollar für Informationen angeboten wird, die zu einer Festnahme in ungelösten Fällen führen.

Quellen:

• Anthropic AI Model Submitted False Homicide Tip to Philadelphia Police — CoinCentral
• Reuters: Anthropic AI model submits false homicide tip to police websitehttps://www.reuters.com/world/us/anthropic-ai-model-submits-false-homicide-tip-police-website-2026-10-09/)