OpenAI znalazło się w centrum viralowej historii dotyczącej bezpieczeństwa AI po tym, jak dwa jego modele AI miały rzekomo wydostać się z nadzorowanego środowiska testowego, uzyskać dostęp do internetu i wykorzystać go do włamania się do systemów należących do konkurencyjnej firmy Hugging Face.

Incydent, który niektórzy komentatorzy informacyjni porównywali do fabuły filmu The Terminator z 1984 roku, został opisany przez OpenAI jako zachowanie niemające złośliwego charakteru. Według OpenAI modele próbowały wykonać przydzielone zadanie i znalazły sposób na oszukanie systemu, zamiast działać z wrogimi intencjami. Tego rodzaju zachowanie — w którym systemy AI wykorzystują niezamierzone skróty, aby osiągnąć cel — jest dobrze udokumentowane w literaturze dotyczącej bezpieczeństwa AI pod pojęciami takimi jak "reward hacking" i "specification gaming" oraz było obserwowane w różnych warunkach badawczych. OpenAI i Hugging Face poinformowały, że później współpracowały nad usunięciem powiązanych podatności bezpieczeństwa.

Dla badaczy bezpieczeństwa AI epizod ten był jednym z najwyraźniejszych publicznych przykładów ryzyk, przed którymi ostrzegali od lat. Dla innych jednak incydent wydawał się podejrzanie korzystny dla wizerunku publicznego OpenAI.

Nie ma dowodów na to, że włamanie zostało sfabrykowane. Hugging Face potwierdziło, że włamanie było prawdziwe, a obie firmy opublikowały raport dotyczący incydentu. Mimo to media społecznościowe szybko wypełniły się teoriami, że epizod ten był próbą stworzenia przez OpenAI własnego momentu „Mythos”.

Sceptycznie zareagowali także niektórzy przedstawiciele branży AI. „The entire blog piece reads as a marketing gimmick that OAI ripped off from Anthropic,” napisał jeden użytkownik X. „Not sure if this is by far the most significant real-world AI safety event to date, or by far the most cynical marketing stunt I’ve seen in a while,” napisał inny badacz AI na LinkedIn. Kilku inżynierów pracujących w dużych firmach technologicznych powiedziało Fortune, że ich pierwszym odruchem było założenie, iż włamanie było jakąś formą reklamy.

Włamanie rzeczywiście trafiło na nagłówki na całym świecie, choć doprowadzenie do awarii serwerów konkurencyjnej firmy nie jest zazwyczaj uznawane za konwencjonalny marketing. Mimo to krytycy od lat zarzucają czołowym firmom AI angażowanie się w formę „dark marketingu”. Wskazują oni na ostrzeżenia, że AI może wyeliminować całe kategorie miejsc pracy, decyzję Anthropic o wstrzymaniu publicznego udostępnienia Mythos, ponieważ uznano go za „zbyt niebezpieczny”, oraz wypowiedzi liderów laboratoriów, że niekontrolowane modele mogłyby zabić wszystkich ludzi na planecie. Te same firmy, które sprzedają systemy AI, często należały do najgłośniejszych głosów ostrzegających przed ryzykami tej technologii.

Część tych obaw może być uzasadniona. Jednocześnie ostrzeżenia przed katastrofalnym ryzykiem związanym z AI pomagały także zwracać uwagę na produkty firm i utrzymywać je w nagłówkach. Inni argumentują, że takie ostrzeżenia pozwoliły czołowym firmom technologicznym wzmocnić kontrolę nad rozwojem zaawansowanej AI poprzez sugerowanie, że modele stają się tak niebezpieczne, iż tylko niewielkiej grupie organizacji powinno się ufać w kwestii ich budowy lub zarządzania nimi — dynamika ta stała się centralnym elementem trwających debat regulacyjnych w Waszyngtonie i Brukseli dotyczących sposobu regulowania AI.

Reakcje opinii publicznej i branży sugerują, że ta strategia może obecnie napotykać ograniczenia. Laboratoria AI przez lata podkreślały scenariusze zagłady i opisywały własne modele jako niebezpiecznie potężne. W rezultacie, gdy dochodzi do incydentu, który wydaje się autentycznie alarmujący, wielu obserwatorów instynktownie podejrzewa, że jest to spin.

„I see a lot of people saying this must be not completely true, there’s some lies, or just a PR stunt,” powiedział Fortune Charlie Eriksen, badacz bezpieczeństwa w Aikido Security. „That suggests the frontier labs are inherently untrustworthy, as it makes no sense that they’d make up stuff without any clear sensible incentive in this case.”

Kto weryfikuje twierdzenia laboratoriów?

Problem zaufania ma znaczenie, ponieważ duża część tego, co branża wie o bezpieczeństwie AI i wydajności modeli, pochodzi od samych laboratoriów AI. Modele są zwykle najpierw wdrażane wewnętrznie i oceniane przez zespoły ds. bezpieczeństwa przed publicznym udostępnieniem. Jeśli rządy, firmy i opinia publiczna nie wierzą przedsiębiorstwom, gdy pojawiają się realne zagrożenia — albo jeśli tym przedsiębiorstwom rzeczywiście nie można ufać — zawęża to dostępne informacje o potencjalnie niebezpiecznych modelach wciąż pozostających w fazie rozwoju.

Eksperci ds. bezpieczeństwa wskazują również na szerszy problem weryfikacji: nie ma jasnego sposobu na niezależne potwierdzenie wielu twierdzeń dotyczących tego, co dzieje się wewnątrz laboratoriów AI. Firmy nie są zobowiązane do przekazywania logów incydentów ani poddawania się niezależnym audytom dowodzącym, że ich deklaracje dotyczące możliwości lub zachowania modeli są dokładne. Rządy zaczęły budować infrastrukturę nadzorczą — USA utworzyły AI Safety Institute w ramach Departamentu Handlu, a unijny AI Act obejmuje wymogi dotyczące ocen ryzyka systemowego dla najpotężniejszych modeli — ale mechanizmy te pozostają na wczesnym etapie i nie uczyniły jeszcze niezależnej weryfikacji standardową praktyką.

W tym przypadku epizod ten przypadkowo podnosi także postrzeganie modeli OpenAI, w tym wciąż nieudostępnionego modelu, który — jeśli plotki są trafne — może stać się GPT-6. Jednocześnie daje Hugging Face okazję do argumentowania za silniejszymi, amerykańskimi narzędziami AI open source w rękach obrońców. Tworzy to korzystny rezultat dla dwóch firm, które przynajmniej na papierze mają przeciwstawne bodźce.

Nie oznacza to, że incydent był fałszywy. Jednak sam fakt, że nie ma sposobu, aby definitywnie wykluczyć taką możliwość, jest częścią problemu.

Epizod pokazuje również, że modele AI mogą zachowywać się w niezamierzony sposób. Wydarzenia tego tygodnia to wykazały, a wcześniej istniały podobne przykłady tego rodzaju niedopasowania. Incydent wyraźnie pokazał także, że laboratoria budujące te systemy osłabiły gotowość opinii publicznej do akceptowania ich twierdzeń, nawet gdy mówią prawdę.

Oryginalny artykuł napisała Beatrice Nolan dla newslettera Fortune Eye on AI i pierwotnie opublikowano go na Fortune.com.