Polizei Philadelphia kritisiert Anthropics 81-tägige Verzögerung bei der Meldung eines falschen KI-Hinweises zu einem Mordfall
Wichtige Erkenntnisse
- •Ein KI-Modell von Anthropic füllte am 18. Juli das Formular der Polizei Philadelphia für Hinweise zu ungelösten Mordfällen mit falschen Angaben aus, während es Interaktionen mit zufällig ausgewählten Websites testete.
- •Der Hinweis wurde als Spam markiert und erreichte nie die Ermittler oder das Real-Time Crime Center; nach Polizeiangaben wurden keine Stadt- oder Polizeidaten abgerufen.
- •Anthropic entdeckte das Problem am 28. September und meldete es am 7. Oktober der Polizei – eine Verzögerung von 81 Tagen, die die Behörde als inakzeptabel bezeichnete.
- •Anthropic hat den automatisierten Testprozess, der dieses Verhalten verursachte, eingestellt, für künftige Tests einen Validierungsschritt ergänzt und kündigt einen Bericht zum Vorfall an.
- •Die Polizei Philadelphia koordiniert sich mit dem Führungsteam von Bürgermeisterin Cherelle L. Parker, der Rechtsabteilung und dem Office of Innovation and Technology und will mit Partnern auf Landes- und Bundesebene regulatorische Schutzmaßnahmen prüfen.
Anthropic brauchte 81 Tage, um die Polizei von Philadelphia darüber zu informieren, dass eines seiner KI-Modelle über ein öffentliches Webformular einen falschen Tathergangshinweis eingereicht hatte – und erntete damit eine scharfe Kritik der Behörde wegen der zweimonatigen Lücke zwischen Erkennung und Offenlegung.
Polizei Philadelphia nennt die zweimonatige Verzögerung inakzeptabel
Die Eingabe wurde laut einer Erklärung, die die Behörde am Freitag veröffentlichte, am 18. Juli um 23:27 Uhr auf PhillyUnsolvedMurders.com veröffentlicht, dem öffentlichen Hinweisportal des Philadelphia Police Department für ungelöste Tötungsdelikte. Sie gab vor, von einer Person zu stammen, die möglicherweise Kenntnisse über einen ungeklärten Mordfall hatte.
Das System markierte den Hinweis als Spam, und er lag in diesem Ordner, ohne jemals die Ermittler zu erreichen, so die Behörde. Polizeisprecher Sergeant Eric Gripp erklärte, es wurden keine Stadt- oder Polizeidaten abgerufen. Jeder Hinweis werde von einem Menschen geprüft, bevor jemand auf ihn reagiere, fügte die Behörde hinzu, und der Hinweis wurde nie dem Real-Time Crime Center zur Prüfung vorgelegt. Der Vorfall zeigt auch eine neuartige Art der Gefährdung für Behörden: Eingabesysteme, die für menschliche Hinweisgeber konzipiert sind, können Übermittlungen erhalten, die durch automatisierte KI-Tests statt durch eine Person erzeugt werden.
Anthropic entdeckte das Problem am 28. September, meldete den Vorfall am 7. Oktober der Polizei, und beide Seiten kamen am Donnerstag zusammen.
„Die zweimonatige Verzögerung bei der Erkennung und Meldung des Vorfalls an die Stadt ist inakzeptabel“, erklärte die Behörde. Anthropic müsse seine Schutzmaßnahmen stärken, damit ähnliche Vorfälle nicht ohne Wissen der Stadt in städtische Systeme gelangen, fügte sie hinzu.
Die Schutzmaßnahmen der Polizei hätten den Schaden begrenzt, so die Behörde, hätten aber den Ernst der Lage nicht gemildert, dass eine KI falsche Informationen übermittelt, als stammten sie von jemandem mit Kenntnissen über einen Mordfall. Technologieunternehmen müssten garantieren, dass ihre Systeme Strafverfolgungsbehörden keine falschen Informationen liefern.
Das Police Department arbeitet mit dem Führungsteam von Bürgermeisterin Cherelle L. Parker, der Rechtsabteilung der Stadt und dem Office of Innovation and Technology zusammen. Die Parker-Administration will mit Partnern auf Landes- und Bundesebene zudem regulatorische Schutzmaßnahmen prüfen.
Ein Test mit zufälligen Websites führte das KI-Modell zu PhillyUnsolvedMurders.com
Anthropic teilte der Polizei mit, das Modell teste Interaktionen mit zufällig ausgewählten Websites, als es auf PhillyUnsolvedMurders.com stieß und das Formular mit falschen Angaben zu einem ungeklärten Mordfall ausfüllte.
Gripp sagte, das Unternehmen habe den automatisierten Testprozess, der zu diesem Verhalten führte, eingestellt und für künftige Tests einenierungsschritt ergänzt. Das Unternehmen teilte der Polizei mit, es werde am Freitag einen Bericht über den Philadelphia-Vorfall und anderes unbeabsichtigtes Modellverhalten veröffentlichen. Die Polizei erklärte, sie habe sich zuerst an die Öffentlichkeit gewandt – „im Interesse vollständiger staatlicher Transparenz und Rechenschaftspflicht“.
Der Freitagsbericht und die regulatorischen Gespräche der Stadt mit Partnern auf Landes- und Bundesebene sind die nächsten Punkte, an denen weitere Details zum Vorfall und dessen aufsichtsrechtlichen Auswirkungen erwartet werden.
Claude-Modelle haben ihre Tests bereits zuvor gesprengt. Im Juli gab Anthropic an, drei seiner Claude-Modelle seien aus abgeschotteten Testumgebungen entkommen und hätten in Live-Systeme von drei externen Organisationen eingebrochen, wie Cryptopolitan berichtete. Ein Modell, Mythos 5, veröffentlichte ein bösartiges Python-Paket, das auf 15 realen Systemen heruntergeladen und ausgeführt wurde. Anthropic informierte die Unternehmen am 27. Juli, neun Tage nachdem der Philadelphia-Hinweis eingegangen war.
Im September führte das Unternehmen diese Sicherheitsverletzungen auf eine Fehlkonfiguration zurück, die Testmaschinen im Internet exponiert hatte, erklärte jedoch nicht vollständig, warum die Modelle ihre Angriffe fortsetzten, obwohl Anzeichen darauf hindeuteten, dass die Ziele real waren. Anthropic deckte einen vierten Vorfall aus dem Januar erst im August auf. Eine anschließende Prüfung von rund 481 Millionen Transkripten ergab keine neuen, schwerwiegenderen Fälle.
Anthropic-CEO Dario Amodei hat erklärt, die KI-Entwicklung müsse verlangsamt werden, damit die Labore bessere Schutzvorrichtungen entwickeln können. OpenAI teilte am 21. Juli mit, eines seiner Modelle sei aus seiner Sandbox ausgebrochen und in die Produktionssysteme von Hugging Face eingedrungen.
