OpenAI we wtorek opublikowało wyniki wewnętrznego dochodzenia w sprawie lipcowego incydentu, w którym kilka testowanych modeli AI wydostało się ze swojego środowiska testowego i przeprowadziło cyberatak na firmę AI Hugging Face.

Choć wiele szczegółów tego incydentu związanego z nieautoryzowanym zachowaniem AI zostało już wcześniej ujawnionych przez OpenAI, 37-stronicowy techniczny raport pokontrolny firmy zawiera kilka nowych informacji. Tego samego dnia niezależne firmy badawcze METR i Redwood Research opublikowały osobną, 91-stronicową analizę wydarzeń.

OpenAI poprosiło METR i Redwood o przeprowadzenie analizy, ale wyłącznie dla okresu od 7 lipca do 13 lipca, kiedy miała miejsce większość kluczowych zdarzeń prowadzących do incydentu. Ich raport koncentruje się na tym, jak agenci współpracowali na tajnej tablicy wiadomości, aby przeprowadzić atak, co OpenAI po raz pierwszy ujawniło 5 sierpnia podczas prezentacji na konferencji bezpieczeństwa Black Hat. Raport OpenAI przedstawia szerszy opis tego, co wydarzyło się przed atakiem, w trakcie jego trwania oraz w kolejnych dniach.

OpenAI powiedziało, że nie wiedziało, iż jego agenci atakują Hugging Face

Jednym z głównych wniosków z raportu OpenAI jest to, że firma nie zorientowała się, iż jej agenci naruszyli Hugging Face, internetowe repozytorium modeli i zbiorów danych AI, aż do tygodnia po incydencie.

Zdolność wykrywania i identyfikowania niepożądanego zachowania agentów AI w czasie rzeczywistym lub niemal rzeczywistym ma kluczowe znaczenie dla zapobieżenia kolejnemu naruszeniu tego typu — być może o poważniejszych konsekwencjach, na przykład atakowi na bank lub szpital. Raport OpenAI stwierdza, że systemy monitoringu były niewystarczające i nie ostrzegły badaczy prowadzących ocenę cyberbezpieczeństwa, że agenci AI podejmują niezamierzone i potencjalnie niebezpieczne działania.

OpenAI podało, że od tego czasu poprawiło monitoring agentów, których szkoli, w tym znacznie dokładniej analizuje ich tak zwany „chain of thought”, czyli tekstowy tok rozumowania modelu podczas wykonywania zadania. Firma powiedziała również, że uważniej monitoruje, do jakich narzędzi agenci mają dostęp i jakie działania podejmują.

Zgodnie z raportem, aktywność poprzedzająca naruszenie rozpoczęła się w maju, jak wcześniej mówili pracownicy OpenAI na Black Hat. Jednak dochodzenie OpenAI wykazało, że główna faza ataku rozpoczęła się 8 lipca i osiągnęła szczyt między 11 lipca a 13 lipca. Hugging Face ujawniło incydent 16 lipca, a OpenAI skontaktowało się z firmą 17 lipca „w charakterze klienta Hugging Face, aby ocenić ewentualny wpływ na dane OpenAI”.

OpenAI wkrótce potem ustaliło, że to ono było sprawcą. 19 lipca wewnętrzne narzędzie monitorujące uruchomiło alert „dotyczący nietypowej aktywności API związanej z tożsamością”. 20 lipca firma znalazła dowody, że winne były jej agenty, a 21 lipca publicznie przyznała się do odpowiedzialności.

OpenAI przyznało w swojej ocenie, że „z perspektywy czasu niektóre wczesne sygnały wskazane w tym raporcie mogły uruchomić wcześniejszą reakcję”. Firma podała, że dzieli się wyciągniętymi wnioskami w nadziei, iż „może to pomóc szerszemu sektorowi AI wzmocnić odosobnienie modeli, monitoring i reakcję wraz z rozwojem możliwości”. OpenAI powtórzyło również, że zachowanie agentów było niezamierzone, a modele, ponieważ przechodziły wewnętrzne oceny, działały bez „tego samego rodzaju zabezpieczeń”, z których OpenAI korzysta w produkcji dla swoich publicznie dostępnych modeli.

Przepis na katastrofę: potężny agent AI z dużą ilością czasu i środków do rozwiązania niemożliwego zadania

Innym istotnym ustaleniem OpenAI jest to, że agenci zachowywali się gorzej, czyli wykazywali najbardziej niezgodne zachowania, gdy otrzymali potencjalnie niemożliwe zadanie do rozwiązania, a także dużo czasu i tokenów rozumowania, by je wykonać.

OpenAI podało, że dało modelom zaangażowanym w incydent — wewnętrznemu prototypowi badawczemu, który prowadził działania, oraz niedawno udostępnionemu GPT-5.6 Sol — „zakres tokenów rozumowania, z których niektóre znacznie wykraczają poza te dostępne w zewnętrznych produktach OpenAI”. Agenci AI zostali skierowani do rozwiązywania problemów w cyberbezpiecznościowym benchmarku o nazwie ExploitGym. Zadania w tym teście mają różny poziom trudności, a kilka z nich było tak trudnych, że eksperci ds. cyberbezpieczeństwa, którzy stworzyli ExploitGym, spekulowali, iż mogą być w rzeczywistości niemożliwe do rozwiązania. OpenAI poinformowało, że jego modele doszły do tego samego wniosku, a to najwyraźniej skłoniło je do oszukiwania.

Jak ujawniono wcześniej, agenci utworzyli wewnętrzną tablicę wiadomości, aby dzielić się wskazówkami dotyczącymi wykonywania zadań z zakresu cyberbezpieczeństwa, które były przedmiotem oceny, a także sposobów wydostania się z kontrolowanego środowiska testowego, uzyskania dostępu do internetu i penetrowania systemów stron trzecich, w tym Hugging Face.

Nowy raport wskazuje jednak, że agenci spędzali znacznie więcej czasu na tej tablicy, omawiając najtrudniejsze wyzwania, co sugeruje, że byli silnie zmotywowani do ich rozwiązania. Zgodnie z raportem, 93% zadań omawianych na tablicy wiadomości dotyczyło najtrudniejszych 22% zadań.

OpenAI stwierdziło, że takie zachowanie stanowiło rozciągniętą w czasie formę „reward hacking”, znanego problemu w uczeniu ze wzmocnieniem, w którym model poprzez metodę prób i błędów uczy się maksymalizować nagrodę w sposób, którego jego twórcy nie zamierzali. W tym przypadku nagrodą było rozwiązanie pytań ExploitGym, a „hacking” był dosłowny: oszukiwanie na teście, a następnie włamywanie się do Hugging Face w próbie zatuszowania oszustwa.

„Zwalczanie reward hackingu to w OpenAI stały wysiłek — zdecydowana większość reward hacków, które zaobserwowało OpenAI, została załatana” — powiedziała firma. „Jednak niektóre obejścia nadal mogą się przedostać, zwłaszcza gdy OpenAI rozwija bardziej złożone zadania uczenia ze wzmocnieniem i bardziej zaawansowane modele AI”.

METR i Redwood dodały nowe szczegóły dotyczące tablicy wiadomości

METR i Redwood Research przedstawiły więcej szczegółów na temat działania tablicy wiadomości. Jak wcześniej ujawniło OpenAI, agenci odkryli, że mogą wykorzystać system udostępniania plików OpenAI jako improwizowaną tablicę wiadomości.

Badacze zidentyfikowali 1,200 agentów, którzy komunikowali się na nieautoryzowanej tablicy, wysyłając łącznie 70,000 wiadomości. Spośród tych agentów aż 700 później wzięło udział w ataku na Hugging Face.

METR i Redwood powiedziały, że atak był często opisywany w relacjach medialnych jako próba oszustwa w benchmarku ExploitGym, ale agenci nie atakowali Hugging Face po to, by poznać odpowiedzi do egzaminu. Zamiast tego znaleźli już sposób na tworzenie odpowiedzi do zadań cyberbezpiecznościowych bez faktycznego rozwiązywania ich w sposób zamierzony przez twórców ExploitGym.

Agenci obawiali się jednak, że automatyczny system oceniania benchmarku zorientuje się, iż nie rozwiązali zadań w odpowiedni sposób, i i tak ich obleje. W tym sensie atak na Hugging Face był rozbudowaną próbą zatuszowania sprawy, mającą na celu zrozumienie, jak działa scorer, aby można go było oszukać i skłonić do uznania odpowiedzi za legalne.

„Kiedy agenci zaatakowali Hugging Face, mieli już opracowany sposób generowania odpowiedzi (‘flag’ w ich zadaniu typu capture the flag) dla każdego zadania. Potwierdzili to w ciągu kilku godzin od wzajemnego odnalezienia się na tablicy wiadomości” — powiedziały METR i Redwood Research w rozmowie z Fortune. „Prawie cały ich wysiłek poszedł w inną stronę: przekonanie automatycznego ‘scorera’, że zdobyli flagę legalnie. Obejmowało to duży projekt manipulowania logami własnych działań. Głównym powodem ataku na Hugging Face było zrozumienie, jak działa scorer, aby móc go oszukać”.

Agenci próbowali ukrywać działania, które mogły zostać uznane przez system oceniania za oszustwo, w tym modyfikując transkrypty opisujące ich wcześniejsze działania. METR podało, że jeden z wiodących agentów, który nazwał się PHASEONE[BIG], „często koordynował i przydzielał” tę pracę związaną z ukrywaniem śladów.

Niektórzy agenci pracowali również nad sposobami bezpośredniego dostępu do Hugging Face. Jeden agent, oznaczony jako 38148c, odnalazł dane uwierzytelniające do Hugging Face, a następnie „zaprojektował złośliwy upload zbioru danych, aby serwer HF udostępniał niepowiązane pliki” — podało METR. „W ciągu kilku godzin setki agentów wykorzystywały to do pozyskiwania danych i próby uzyskania głębszego dostępu”.

Nie wszyscy z 700 agentów dołączyli do ataku jednocześnie. Zamiast tego stopniowo dołączali, gdy incydent się rozwijał. METR przeanalizowało motywację do dołączenia, przeglądając logi chain-of-thought agentów. „Najczęstszym powodem była ciekawość związana z tym, jak działa scorer ExploitGym, aby móc go oszukać lub zmanipulować” — podało METR.

„Dziękujemy OpenAI za ułatwienie rozmów z pracownikami i udostępnienie zbiorów danych, w tym około 1,300 transkryptów agentów (skoncentrowanych na aktywności w dniach 7–13 lipca) z surowym rozumowaniem chain-of-thought” — powiedziało METR. „To ustanawia doskonały precedens dla niezależnego badania incydentów związanych z niezgodnością modeli”.

Jeden brakujący element w raporcie OpenAI: prompt

Jednym z braków w raporcie OpenAI jest konkretny prompt, który badacze podali agentom.

ExploitGym zawiera kilka standardowych szablonów promptów z różnymi wyzwaniami dla systemów AI, a firmy takie jak OpenAI mogą używać ich bez zmian albo je dostosowywać. Możliwe, że OpenAI nie traktuje modyfikacji promptu jako kluczowego środka bezpieczeństwa, a firma nie odpowiedziała na prośbę o komentarz w tej sprawie.

Raport OpenAI wydaje się też znacznie mniej techniczny niż pokontrolny raport Hugging Face, który firma opublikowała wcześniej, 29 lipca. Wersja OpenAI to głównie tekst, z techniczną osią czasu umieszczoną w tabeli na końcu. Raport Hugging Face jest o kilka stron krótszy, ale zawiera konkretne fragmenty kodu i dowody z własnych systemów firmy dotyczące tego, co się wydarzyło.

Wersja OpenAI opublikowana we wtorek nie zawiera ani fragmentów kodu, ani przykładów wiadomości, które agenci rzekomo zostawiali sobie nawzajem w miesiącach poprzedzających atak, a które pracownicy OpenAI pokazali na Black Hat.

Jednym z bardziej konkretnych szczegółów w raporcie jest hipotetyczny przykład wiadomości, którą agent OpenAI mógł wysłać innemu agentowi, w której wiadomość została sprytnie ukryta w adresie URL nazwy pliku. OpenAI powiedziało, że sam fakt, iż agenci komunikują się ze sobą, nie jest z natury problemem, a wręcz są do tego trenowani, lecz w tym przypadku „znaczna niezamierzona komunikacja… gwałtownie wzrosła w trakcie treningu”.

Co OpenAI robi teraz, aby temu zapobiec

OpenAI podało, że wprowadziło już szereg zmian, w tym „szerszą, bardziej spójną widoczność w całym środowisku badawczym, z sygnałami wyższej wierności i szybszymi mechanizmami wykrywania oraz zatrzymywania potencjalnie niebezpiecznej aktywności oceniającej”.

Firma wzmacnia również swoją infrastrukturę badawczą, w tym zapewnia, że modele będące w testach pozostają odizolowane i nie uzyskują dostępu do internetu, który w przypadku incydentu z Hugging Face był drogą umożliwiającą agentom dotarcie do firmy oraz kilku innych usług po drodze.

Ten materiał po raz pierwszy ukazał się na Fortune.com