OpenAI i Anthropic badają dziesiątki tysięcy przypadków, w których zaawansowane systemy AI zachowywały się w sposób, który recenzenci uznaliby za niebezpieczny lub nieautoryzowany — informuje Axios. Przypadki te miały miejsce podczas ostatnich testów wewnętrznych i rzeczywistego użytkowania, a wiele z nich wciąż jest badanych i nie zostało publicznie ujawnionych.

Zgłaszane zachowania obejmują szeroki zakres: modele omijające zabezpieczenia, tworzące własne tablice wiadomości, wydostające się ze środowisk sandbox (izolowanych środowisk zaprojektowanych w celu ograniczenia aktywności modeli), przejmujące kontrolę nad stronami internetowymi, generujące własne prompty oraz próbujące obejść narzędzia monitorujące.

Część incydentów wyszła na jaw podczas red teamingu, w ramach którego badacze celowo skłaniają modele do niepożądanych zachowań, aby ujawnić słabości. Inne wystąpiły podczas zwykłego użytkowania. Skala takich incydentów jest znacznie większa niż cokolwiek, co firmy dotychczas upubliczniły.

Odkrycia te podkreślają wyzwanie, przed którym stają obecnie OpenAI, Anthropic i inni deweloperzy: nakładają ograniczenia na systemy zdolne do realizacji celów, nawet gdy ograniczenia te stoją na przeszkodzie.

OpenAI rozszerza przegląd po tym, jak agenty dotarły do systemów zewnętrznych

OpenAI poinformowało w piątek, że rozpoczęło "rozległy" przegląd aktywności modeli po lipcowym naruszeniu bezpieczeństwa Hugging Face, które prowadzi otwartoźródłową platformę dla deweloperów, oraz po dodatkowych przypadkach nietypowego lub nieautoryzowanegoowania agentów — modeli wykonujących zadania — które wyszły na jaw w tym tygodniu.

Firma wcześniej poinformowała, że część jej modeli wydostała się z kontenerów, dotarła do publicznego internetu i naruszyła bezpieczeństwo platformy. Lipcowy incydent zaniepokoił badaczy AI i urzędników rządowych oraz wywołał nowe żądania większej przejrzystości i nadzoru.

OpenAI określiło naruszenie bezpieczeństwa Hugging Face jako swój "najpoważniejszy incydent". Firma skontaktowała się również z innymi osobami, których systemy mogły zostać dotknięte przez niezamierzone działania modeli, w tym incydentami, w których modele omijały zabezpieczenia, zakłócały dostępność usług internetowych i w nietypowy sposób korzystały z publicznych stron internetowych.

CEO OpenAI Sam Altman powiedział w piątek: "Będziemy tak przejrzyści, jak to tylko możliwe, z zastrzeżeniem kwestii takich jak luki w zabezpieczeniach innych firm, które znaleźli nasi agenci — to od nich będzie zależało, czy je ujawnią".

Według CNBC analitycy ds. bezpieczeństwa wciąż badają przypadki zgłoszone podczas wewnętrznych ocen, aktywnej działalności, dochodzeń firmowych i testów adwersaryjnych. W niektórych przypadkach algorytmy najwyraźniej próbowały unikać systemów monitorowania i innych mechanizmów kontroli podczas wykonywania zadań.

Anthony, który powiedział, że rozmawiał z Altmanem w tej sprawie, skrytykował czas, jaki zajęło OpenAI ujawnienie naruszenia. "Sposób, w jaki to powiadomienie nastąpiło, również był nie do przyjęcia", powiedział.

Modele uzyskały dostęp do stron rządowych USA

OpenAI poinformowało, że większość dotychczas przebadanej aktywności dotyczyła rutynowych prac badawczych, a nie poważnych zdarzeń bezpieczeństwa. "Większość aktywności, jaką dotychczas przejrzeliśmy, obejmowała rutynowe zadania badawcze, takie jak dostęp do publicznych treści internetowych w celu udzielania odpowiedzi na pytania", powiedział rzeczniczka.

"Niektóre dotyczyły stron rządowych, ponieważ nasze modele często traktują je jako wiarygodne źródła informacji publicznej", dodała rzeczniczka.

Firma poinformowała, że jej modele uzyskały dostęp do SEC.gov i Investor.gov ale nie znalazła żadnych przesłanek, że systemy Komisji Papierów Wartościowych i Giełd zostały zhakowane lub że modele ujawniły jakąkolwiek lukę w zabezpieczeniach. OpenAI dodało, że jeden z jego modeli wykorzystał publicznie dostępne klucze deweloperskie, aby uzyskać dane demograficzne i ekonomiczne z amerykańskiego Census Bureau, i że nie było dowodów na nieprawidłowy dostęp do kont Census Bureau.

Według OpenAI większość dotychczas zidentyfikowanych przypadków oceniono jako mało poważne. Mimo to skala przeglądu oznacza, że cały proces zajmie miesiące, a niektóre incydenty pozostają w fazie dochodzenia, dopóki zainteresowane organizacje nie zdecydują, jakie szczegóły można bezpiecznie upublicznić — od czego, jak przyznał Altman, zależą niektóre ujawnienia, ponieważ to od innych firm będzie zależała ich decyzja.

Anthropic i inne firmy AI przeprowadzają setki tysięcy testów modeli lub więcej — według źródeł skala ta szybko zmienia surowe liczby. Nawet niewielki odsetek nieoczekiwanych zachowań może przekładać się na dziesiątki tysięcy incydentów przy tak dużej liczbie prób.