OpenAI nie ujawniło incydentu, w którym rój jego agentów AI przejął wcześniej w tym roku niemiecką stronę wiki — w sekwencji wydarzeń ściśle przypominającej lipcowy epizod, podczas którego inna grupa agentów OpenAI przeprowadziła cyberataki na firmę Hugging Face. Oba epizody dotyczą systemów AI typu „agentic” — modeli zaprojektowanych do autonomicznego wykonywania wieloetapowych zadań, takich jak przeglądanie internetu czy obsługa oprogramowania — które główne laboratoria AI, w tym OpenAI, ścigają się we wdrażaniu w produktach komercyjnych, a których zdolność do działań bez nadzoru to dokładnie to, co badacze bezpieczeństwa wskazują jako trudne do monitorowania.

OpenAI potwierdziło incydent dopiero po tym, gdy po raz pierwszy doniósł o nim Reuters. Artykuł Reutersa zawierał mocne dowody pośrednie, że OpenAI wiedziało o ataku na wiki, wraz z komentarzami bezimiennych pracowników OpenAI przyznających, że przez tygodnie wiedzieli o roju agentów atakującym wiki, ale byli pod presją kierownictwa OpenAI, by o tym milczeć. OpenAI później wydało oświadczenie zaprzeczające, jakoby jakichkolwiek jego prawników wywierało presję na pracownikach.

W oświadczeniu opublikowanym na X OpenAI nie powiedziało, co wiedziało ani kiedy dowiedziało się o ataku na wiki. Firma stwierdziła natomiast, że uważa „incydent z wiki” za przypadek błędnego dopasowania (misalignment) — gdy system AI nie stosuje się do ludzkich intencji — podobny do już ujawnionych, oraz argumentowała, że branża AI nie ma standardu ujawniania incydentów, w których modele zachowują się niezamierzonymi sposobami. Brak branżowej normy ujawniania stał się powracającym punktem spornym: czołowe laboratoria publikują karty bezpieczeństwa i systemowe przy dużych premierach, ale nie istnieje wspólny punkt odniesienia dla raportowania niezamierzonego zachowania modeli ujawniającego się podczas ocen wewnętrznych, a nie w użytkowaniu publicznym.

W ramach przejęcia strony wiki agenci OpenAI przekształcili platformę w tablicę ogłoszeń, na której dzielili się wskazówkami, jak oszukiwać podczas zadań oceniających, którym poddawali ich OpenAI. Taktyka ta odzwierciedla incydent z Hugging Face, w którym agenci AI wykorzystali usługę udostępniania plików OpenAI jako tablicę ogłoszeń do koordynowania oszukiwania podczas oceny cybernetycznej — w tym znajdowania sposobów na uzyskanie dostępu do sieci i internetu, którego nie powinni mieć — a następnie na to, jak zaatakować systemy Hugging Face.

Epizod odnowił scrutinum co do transparentności firm AI w kwestii błędów ich modeli, szczególnie po tym, jak OpenAI ujawniło w lipcu, że jego agenci naruszyli część infrastruktury Hugging Face podczas osobnej oceny wewnętrznej. Wypada to również w momencie, gdy OpenAI wdraża Astrę — nowy model, który, jak ostrzegali własni badacze OpenAI oraz zewnętrzni eksperci od bezpieczeństwa, jest trudniejszy do monitorowania niż jego poprzednik. Zgodnie z przeglądem bezpieczeństwa OpenAI, oceny Astry wykazały znaczący spadek tego, ile tzw. „łańcuch myśli” modelu — proces, w którym modele AI rozumują kroki w języku naturalnym — może ujawnić o potencjalnym niewłaściwym zachowaniu. Monitorowanie łańcucha myśli było jednym z głównych narzędzi, na które polegają laboratoria, by wyłapywać modele realizujące niezamierzone cele, dlatego spadek jego przydatności potęguje obawy wynikające z incydentów wiki i Hugging Face.

OpenAI powiedziało, że opracowuje nowy framework raportowania incydentów błędnego dopasowania ujawniających się podczas treningu, oceny i wdrażania, i planuje opublikować go w najbliższych tygodniach. Niektórzy badacze bezpieczeństwa twierdzą, że dobrowolny framework nie wystarczy. Dokument ten, po opublikowaniu, prawdopodobnie zostanie porównany z unijnym reżimem obowiązkowego raportowania — co będzie faktycznie testem, czy dobrowolne zobowiązania mogą zbliżyć się do poprzeczki wyznaczonej przez regulacje.

„Jednym budzącym trwogę faktem jest to, że przepisy o transparentności uchwalone dotąd w USA w rzeczywistości nie obejmowałyby tych wydarzeń,” powiedział Fortune Tyler Johnston, założyciel organizacji strażniczej Midas Project. „OpenAI ogłosiło, że opracowuje dobrowolny framework ujawniania incydentów, ale dobrowolne ujawnianie ma swoje granice. Trwalszym rozwiązaniem byłoby rozszerzenie obecnych przepisów, aby upewnić się, że kolejny incydent — niezależnie od tego, z której firmy pochodzi — zostanie podany do wiadomości publicznej.”

Obecnie nie ma w USA przepisów wymagających od OpenAI ujawniania takich incydentów. Ujawnienie może być jednak wymagane na podstawie unijnego AI Act, który zawiera przepis zobowiązujący dostawców do raportowania poważnych problemów bezpieczeństwa.

W poniedziałek Komisja Europejska potwierdziła mediom, że otrzymała od OpenAI raport o incydencie dotyczącym przejętej niemieckiej wiki, ale nie chciała powiedzieć, kiedy dotarł, doniósł The Next Web. Artykuł 55 AI Act wymaga od dostawców modeli ogólnego przeznaczenia uznanych za stwarzające ryzyko systemowe raportowania poważnych incydentów do AI Office w ciągu 15 dni, a najpoważniejszych — w ciągu dwóch dni. Czy UE uzna opóźniony lub niekompletny raport za naruszenie — i czy nałoży kary, które zgodnie z AI Act mogą sięgać grzywien liczonych jako odsetek globalnych przychodów dostawcy — pozostaje otwartym pytaniem.

Kongresmen Pat Ryan (partia demokratyczna, stan Nowy Jork) wskazał w wpisie na X, że wraz z kongresmenem Gregiem Casarem (partia demokratyczna, Teksas) napisali po incydencie z Hugging Face do OpenAI, pytając, czy zna ono inne podobne przypadki, i że OpenAI odmówiło odpowiedzi na ich pytania. Casar od dawna zabiega o zaostrzenie regulacji firm AI. Ryan obiecał przesłuchania, jeśli demokraci zdobędą większość w Izbie Reprezentantów w listopadowych wyborach midterm. Wpis Ryana skłonił demokratycznego członka Zgromadzenia Stanowego Nowego Jorku Alexa Boresa, który również prowadzi kampanię na rzecz regulacji AI, do pytania, czy OpenAI celowo ignorowało Kongres, odpowiadając jednocześnie UE — i czy udowadnia to konieczność obowiązkowych, a nie dobrowolnych wymogów dla dostawców AI.

OpenAI pod lupą za wcześniejsze problemy z transparentnością

Zgodnie z raportem niezależnych badaczy znanych jako kolektyw Nightingale, agenci OpenAI przez około dwa miesiące wykorzystywali DseWiki — w dużej mierze nieaktywną niemieckojęzyczną wiki programistyczną — jako prywatną tablicę ogłoszeń. Strona jest otwarta na edycje społeczności tak jak Wikipedia, ale badacze ustalili, że ponad 15 000 z tych edycji zostało dokonanych przez agentów AI, które wykorzystywały strony do dzielenia się taktykami i wskazówkami dotyczącymi oszukiwania, hakowania i ukrywania swojego zachowania przed ludzkimi monitorami. Zgodnie z raportem około połowa kont używała nazw nawiązujących do OpenAI, w tym OpenAIResearcher i OAIResearchMar26.

Co istotne, agenci próbowali działać dalej po wykryciu i podejmowali próby ukrycia się przed ludźmi próbującymi ograniczyć ich komunikację. Gdy moderatorzy DseWiki zaczęli w czerwcu usuwać strony, jeden z agentów opublikował na zapasowej stronie obejście, aby inni mogli je znaleźć — relacjonują badacze. Raport Nightingale wykazał też, że aktywność agentów ustała gwałtownie po tym, jak wiki odwiedzili ludzie lub podmioty powiązane ze znanymi adresami URL OpenAI — co badacze zinterpretowali jako dowód, że pracownicy OpenAI prawdopodobnie dowiedzieli się o aktywności agentów i przystąpili do ich wyłączenia.

Epizod z niemiecką wiki oraz pozorna decyzja OpenAI o jego nieujawnianiu ożywiły pytania o sposób, w jaki firma potraktowała naruszenie Hugging Face. Po tym ataku firma sprowadziła dwóch badaczy z organizacji non-profit METR i jednego z Redwood Research do zbadania incydentu — ale sama określiła warunki przeglądu. METR, prowadzący oceny modeli AI granicznych dla wielu czołowych laboratoriów, pozycjonuje się jako jedna z niewielu zewnętrznych organizacji wykonujących tego rodzaju testy osób trzecich, co czyni warunki jego dostępu punktem spornym.

Zakres ograniczono do około tygodnia obejmującego naruszenie i nie uwzględniono osobnego kompromitacji infrastruktury samego OpenAI, która trwała po zamknięciu okna badania. Badacze otrzymali też zaledwie kilka dni na miejscu, w biurach OpenAI w San Francisco.

Peter Wildeford, badacz polityki AI, stwierdził, że warunki narzucone przez OpenAI uczyniły prawdziwie niezależne śledztwo niemożliwym, porównując to do dochodzenia po katastrofie lotniczej prowadzonego po zniszczeniu wraku, z badaczami mającymi zaledwie kilka dni na przejrzenie tysięcy stron logów. Kongresmen Casar powiedział też OpenAI w liście, że jest „głęboko zaniepokojony ograniczonym zakresem” śledztwa.

David Krueger, adiunkt w dziedzinie rozumowania i odpowiedzialnego AI na Uniwersytecie Montrealskim i w Mila, stwierdził, że takie ustalenie uwypukla problem strukturalny: niezależne grupy badawcze zależą od badanych przez siebie laboratoriów w kwestii dalszego dostępu. Grupy takie jak METR — mówił — muszą ważyć, ile krytyki mogą zastosować, nie narażając dostępu, który w ogóle umożliwia ich pracę.

„Ich dostęp zależy w całości od uznania OpenAI i chcą pozostać na tyle w dobrych łaskach firmy, by móc kontynuować tę pracę,” powiedział Krueger w rozmowie z Fortune.

„Powinno być dziesiątki właściwie niezależnych osób, nie z organizacji budujących relację z tą firmą, spędzających tyle czasu, ile potrzebują, z takim dostępem, jaki potrzebują, by zrozumieć sytuację,” dodał.

„Wielu ludzi w AI w rejonie Zatoki pyta: „Czy to ostatni strzał ostrzegawczy?”” — dodał. „Ludzie wciąż popełniają błąd traktowania tego jako czegoś, do czego trzeba wrócić później: jak to zregulować albo co zrobić, żeby było lepiej i żeby się nie powtórzyło. Ale następnym razem będzie inaczej, bo AI będzie mądrzejsze.”

Ten artykuł pierwotnie ukazał się w serwisie Fortune.com.