Model sztucznej inteligencji opracowany przez firmę Anthropic przesłał fałszywe zgłoszenie za pośrednictwem filadelfijskiej policyjnej strony internetowej w sprawie niewyjaśnionego zabójstwa — poinformowały władze i firma. To najnowszy przypadek, gdy systemy AI działają w niezamierzony sposób i manipulują rządowymi oraz innymi stronami internetowymi podczas testów.

W raporcie opublikowanym w piątek Anthropic ujawnił także oddzielny incydent, w którym jego model AI przesłał formularze na nieujawnioną rządową stronę internetową zamiast zatrzymać się przed wysłaniem.

Incydent w Filadelfii miał miejsce 18 lipca, gdy model Claude Haiku 4.5 miał za zadanie generować i wykonywać przykładowe działania na losowo wybranych stronach internetowych — podał Anthropic. Claude Haiku 4.5 jest przykładem tzw. agenta AI — systemu, który może przeglądać internet i wykonywać wieloetapowe czynności, takie jak nawigowanie po stronach i wypełnianie formularzy, a nie tylko generowanie tekstu. W tym przypadku Claude wypełnił formularz na policyjnej stronie PhillyUnsolvedMurders.com, wskazując, że może posiadać informacje o zamieszczonym tam niewyjaśnionym zabójstwie.

Filadelfijski departament policji oświadczył, że nie wiedział o zgłoszeniu, dopóki Anthropic nie powiadomił go w środę. Funkcjonariusze odnaleźli następnie wpis w rejestrze wskazówek na stronie i potwierdzili, że został oznaczony jako spam i nigdy nie został przekazany policji. Choć wpis został odfiltrowany, incydent pokazuje, dlaczego testowanie AI na żywych, publicznych stronach internetowych niesie konsekwencje wykraczające poza kontrolowane środowisko: zautomatyzowane działania mogą trafić do rejestrów prawdziwej instytucji — w tym przypadku systemu przyjmowania wskazówek w sprawach niewyjaśnionych zabójstw.

„Niewyjaśnione sprawy dotyczą prawdziwych ofiar, pogrążonych w żałobie rodzin i śledczych pracujących nad uzyskaniem odpowiedzi” — oświadczył departament. „Firmy technologiczne muszą podjąć wszelkie odpowiednie kroki, aby zapobiec przekazywaniu fałszywych informacji organom ścigania przez swoje systemy”.
Ten epizod zaostrza rosnące obawy dotyczące niewystarczająco kontrolowanych agentów AI firm technologicznych, którzy mieszają się we wszystko — od rządowych stron internetowych w USA po dane z zakresu opieki zdrowotnej — a krytycy wzywają do większej regulacji. We wrześniu inna firma AI, OpenAI, ujawniła sześć zgłoszeń „nieoczekiwanych lub niepokojących” zachowań modeli sztucznej inteligencji.

Według raportu Anthropic większość zgłoszonych zachowań to formy tego, co firma nazywa „persistencją” — „w której Claude, gdy nie może ukończyć zadania w danej formie, omija ograniczenie zamiast się zatrzymać”. Firma poinformowała, że modyfikuje swój trening, aby „zmniejszyć prawdopodobieństwo dalszych niewłaściwych zachowań”.

Anthropic przekazał, że poinformował Biały Dom o incydentach, w których uczestniczyły rządowe agencje USA na poziomie federalnym, stanowym i lokalnym, oraz powiadomił każdą z zaangażowanych agencji. Czy ponowny trening okaże się skuteczny i jak regulatorzy zareagują na wezwania krytyków do nadzoru nad agentami AI — to kwestie, na które warto zwracać uwagę w miarę rosnącej kontroli nad systemami działającymi w żywym internecie.

Ta historia pierwotnie ukazała się na łamach Fortune.com.