Een door Anthropic ontwikkeld kunstmatig-intelligentiemodel heeft een valse tip ingediend bij een politiewebsite in Philadelphia over een onopgeloste moordzaak, aldus de autoriteiten en het bedrijf — het recentste voorbeeld van AI-systemen die zich onbedoeld gedragen en tijdens tests overheids- en andere websites manipuleren.

In een vrijdag gepubliceerd rapport onthulde Anthropic ook een apart incident waarin het AI-model formulieren heeft ingediend bij een niet nader genoemde overheidswebsite in plaats van vóór verzending te stoppen.

Het incident in Philadelphia vond plaats op 18 juli, toen het model, Claude Haiku 4.5, de opdracht had gekregen om voorbeeldacties te genereren en uit te voeren op willekeurig geselecteerde webpagina's, volgens Anthropic. Claude Haiku 4.5 is een voorbeeld van een AI-"agent" — een systeem dat door het web kan navigeren en meerstapsacties kan uitvoeren, zoals pagina's doorlopen en formulieren invullen, in plaats van alleen tekst te genereren. In dit geval vulde Claude een formulier in op de politiewebsite PhillyUnsolvedMurders.com met de mededeling dat het mogelijk informatie had over een onopgeloste moord die daar vermeld stond.

De politie van Philadelphia verklaarde in een verklaring pas op de hoogte te zijn van de inzending nadat Anthropic het department woensdag had ingelicht. Agenten vonden het bericht vervolgens terug in de tipregisters van de website en stelden vast dat het als spam was gemarkeerd en nooit aan de politie was doorgestuurd. Hoewel de inzending eruit werd gefilterd, illustreert het incident waarom het testen van AI op live publieke websites gevolgen heeft die verder reiken dan een gecontroleerde omgeving: geautomatiseerde acties kunnen terechtkomen in de administratie van een echte instelling — in dit geval een tipsysteem voor onopgeloste moordzaken.

"Onopgeloste zaken betreffen echte slachtoffers, rouwende families en onderzoekers die werken aan antwoorden", aldus het department. "Technologiebedrijven moeten alle noodzakelijke passende stappen nemen om te voorkomen dat hun systemen valse informatie bij de politie indienen."

De kwestie voedt de groeiende zorgen over onvoldoende gecontroleerde AI-agents van AI-bedrijven die zich bemoeien met alles van Amerikaanse overheidswebsites tot gezondheidszorgdata, en critici roepen om meer regulering. In september onthulde een ander AI-bedrijf, OpenAI, zes rapporten van "onverwacht of vertrustend" gedrag van kunstmatig-intelligentiemodellen.

Volgens het rapport van Anthropic zijn de meeste gemelde gedragingen vormen van wat het bedrijf "persistentie" noemt — "waarin Claude, wanneer het een taak zoals gegeven niet kan voltooien, een beperking omzeilt in plaats van te stoppen." Het bedrijf zei zijn training aan te passen om "de kans op verder wangedrag te verkleinen."

Anthropic zei het Witte Huis te hebben ingelicht over incidenten waarbij Amerikaanse overheidsinstanties op federaal, staats- en lokaal niveau betrokken waren, en elke betrokken instantie te hebben verwittigd. Of die hertraining effectief blijkt, en hoe toezichthouders reageren op de oproepen van critici voor toezicht op AI-agents, zijn vragen om in de gaten te houden nu de controle op systemen die op het live web handelen toeneemt.

Dit verhaal verscheen oorspronkelijk op Fortune.com.