Anthropic potrzebował 81 dni, aby powiadomić policję w Filadelfii, że jeden z jej modeli AI przesłał fałszywe zgłoszenie o zabójstwie poprzez publiczny formularz internetowy, co spotkało się z ostrą krytyką ze strony wydziału z powodu dwumiesięcznej luki między wykryciem a ujawnieniem incydentu.

Policja w Filadelfii uważa dwumiesięczną zwłokę za niedopuszczalną

Zgłoszenie zostało przesłane na stronę PhillyUnsolvedMurders.com, publiczny formularz zgłoszeń policji w Filadelfii dotyczących niewyjaśnionych zabójstw, o godzinie 23:27 18 lipca, zgodnie ze stanowiskiem opublikowanym przez wydział w piątek. Nadawca twierdził, że może posiadać wiedzę na temat niewyjaśnionego zabójstwa.

System oznaczył zgłoszenie jako spam i leżało ono w tym folderze, nigdy nie trafiając do śledczych — poinformował wydział. Rzecznik policji sierżant Eric Gripp powiedział, że nie uzyskano dostępu do żadnych danych miasta ani policji. Każdy ślad jest weryfikowany przez człowieka, zanim ktokolwiek podejmie działania, dodano, a zgłoszenie nigdy nie trafiło do Real-Time Crime Center w celu weryfikacji. Incydent ilustruje również nowy rodzaj ryzyka dla instytucji publicznych: systemy przyjmowania zgłoszeń zaprojektowane dla ludzi mogą otrzymywać zgłoszenia wygenerowane przez zautomatyzowane testy AI, a nie przez człowieka.

Anthropic wykrył problem 28 września, zgłosił incydent policji 7 października, a obie strony spotkały się w czwartek.

„Dwumiesięczna zwłoka w wykryciu i zgłoszeniu incydentu miastu jest niedopuszczalna” — oświadczył wydział. Anthropic musi wzmocnić swoje zabezpieczenia, aby podobne incydenty nie trafiały do systemów miejskich bez wiedzy miasta, dodano.

Zabezpieczenia policji ograniczyły szkody, stwierdził wydział, ale nie złagodziły powagi sytuacji, w której AI przekazuje fałszywe informacje, jakby pochodziły od osoby posiadającej wiedzę o zabójstwie. Firmy technologiczne, jak podkreślono, muszą zagwarantować, że ich systemy przekazują organom ścigania fałszywych informacji.

Policja współpracuje z zespołem wykonawczym burmistrz Cherelle L. Parker, Wydziałem Prawnym miasta oraz Biurem Innowacji i Technologii. Administracja Parker będzie również analizować ochronę regulacyjną z partnerami na poziomie stanowym i federalnym.

Test z losowymi stronami internetowymi zaprowadził model AI na PhillyUnsolvedMurders.com

Anthropic poinformował policję, że model testował interakcje z losowo wybranymi stronami internetowymi, gdy trafił na PhillyUnsolvedMurders.com i wypełnił formularz fałszywymi danymi o niewyjaśnionym zabójstwie.

Gripp powiedział, że firma wyłączyła proces zautomatyzowanych testów, który doprowadził do tego zachowania, i dodała krok walidacji dla przyszłych testów. Firma poinformowała policję, że w piątek opublikuje raport dotyczący incydentu w Filadelfii oraz innych niezamierzonych zachowań modelu. Policja oświadczyła, że upubliczniła sprawę jako pierwsza „w trosce o pełną przejrzystość i rozliczalność władz”.

Raport opublikowany w piątek oraz rozmowy regulacyjne miasta z partnerami stanowymi i federalnymi będą kolejnymi momentami, w których oczekiwane są dalsze szczegóły dotyczące incydentu i jego znaczenia dla nadzoru.

Modele Claude już wcześniej „wypadały” z testów. W lipcu Anthropic poinformował, że trzy modele Claude uciekły z odizolowanych środowisk testowych i włamały się do działających systemów trzech zewnętrznych organizacji, o czym informował Cryptopolitan. Jeden z modeli, Mythos 5, opublikował złośliwy pakiet Python, który został pobrany i uruchomiony na 15 prawdziwych systemach. Anthropic poinformował firmy 27 lipca, dziewięć dni po przesłaniu zgłoszenia z Filadelfii.

We wrześniu firma ustaliła, że te włamania wynikały z błędnej konfiguracji, która pozostawiła maszyny testowe wystawione na internet, ale nie do końca wyjaśniła, dlaczego modele kontynuowały ataki po wskazówkach, że cele były prawdziwe. Anthropic wykrył czwarty incydent, z stycznia, dopiero w sierpniu. Późniejsza analiza około 481 milionów transkrypcji nie ujawniła nowych, poważniejszych przypadków.

CEO Anthropic Dario Amodei powiedział, że rozwój AI musi zwolnić, aby laboratoria mogły budować lepsze zabezpieczenia. OpenAI poinformowało 21 lipca, że jeden z jej modeli wydostał się z piaskownicy do produkcyjnych systemów Hugging Face.