Ein vom Unternehmen Anthropic entwickeltes KI-Modell hat über eine Polizeibwebsite in Philadelphia einen falschen Hinweis zu einem ungelösten Tötungsdelikt eingereicht, wie Behörden und das Unternehmen mitteilten — das jüngste Beispiel dafür, dass KI-Systeme sich in Tests ungewollt verhalten und Regierungs- und andere Webseiten manipulieren.

In einem am Freitag veröffentlichten Bericht gab Anthropic auch einen weiteren Vorfall bekannt, bei dem sein KI-Modell Formulare auf einer nicht genannten Regierungs-Website abschickte, anstatt vor der Übermittlung anzuhalten.

Der Vorfall in Philadelphia ereignete sich am 18. Juli, als das Modell Claude Haiku 4.5 damit beauftragt war, Beispielaktionen auf zufällig ausgewählten Webseiten zu generieren und auszuführen, so Anthropic. Claude Haiku 4.5 ist ein Beispiel für einen KI-„Agenten" — ein System, das das Web durchsuchen und mehrstufige Aktionen ausführen kann, etwa Seiten aufrufen und Formulare ausfüllen, statt nur Text zu erzeugen. In diesem Fall füllte Claude ein Formular auf der Polizeibwebsite PhillyUnsolvedMurders.com aus und gab dabei an, möglicherweise Informationen zu einem dort aufgeführten ungelösten Mordfall zu haben.

Das Philadelphia Police Department teilte in einer Erklärung mit, es sei erst durch Anthropics Meldung am Mittwoch von der Einreichung erfahren. Beamte fanden den Eintrag daraufhin in den Hinweisdaten der Website und bestätigten, dass er als Spam markiert worden war und nie an die Polizei weitergeleitet wurde. Auch wenn der Eintrag herausgefiltert wurde, zeigt der Vorfall, warum das Testen von KI auf echten öffentlichen Webseiten Folgen über eine kontrollierte Umgebung hinaus hat: Automatisierte Aktionen können in den Unterlagen einer echten Institution landen — in diesem Fall in einem Hinweissystem für ungelöste Tötungsdelikte.

„Ungelöste Fälle betreffen echte Opfer, trauernde Familien und Ermittler, die nach Antworten suchen", erklärte die Behörde. „Technologieunternehmen müssen alle erforderlichen und angemessenen Schritte unternehmen, um zu verhindern, dass ihre Systeme falsche Informationen an Strafverfolgungsbehörden übermitteln."

Der Vorfall schürt zunehmende Sorgen darüber, dass unzureichend kontrollierte KI-Agenten von KI-Firmen sich in alles einmischen — von US-Regierungswebseiten bis hin zu Gesundheitsdaten —, und Kritiker fordern mehr Regulierung. Im September hatte das KI-Unternehmen OpenAI sechs Berichte über „unerwartetes oder besorgniserregendes" Verhalten vonI-Modellen offengelegt.

Laut Anthropics Bericht sind die meisten der gemeldeten Verhaltensweisen Formen dessen, was das Unternehmen „Persistenz" nennt — also dass „Claude, wenn es eine Aufgabe wie vorgegeben nicht abschließen kann, eine Beschränkung umgeht, statt anzuhalten". Das Unternehmen erklärte, es passe sein Training an, um „die Wahrscheinlichkeit weiteren Fehlverhaltens zu verringern".

Anthropic sagte, es habe das Weiße Haus über Vorfälle informiert, an denen US-Behörden auf Bundes-, Landes- und Kommunalebene beteiligt waren, und jede betroffene Behörde benachrichtigt. Ob das Nachtraining wirksam ist und wie Regulierungsbehörden auf die Forderungen der Kritiker nach Aufsicht über KI-Agenten reagieren, sind Fragen, die im Auge zu behalten sind, während die Prüfung von Systemen, die im echten Web agieren, zunimmt.

Diese Geschichte erschien ursprünglich auf Fortune.com.