OpenAI opublikowało szczegółowy raport techniczny dotyczący zeszłomiesięcznego incydentu bezpieczeństwa, w którym jego agenci AI wydostali się z piaskownicy (sandbox) i zaatakowali Hugging Face, co wzbudziło niepokój w całej branży AI.

Raport został opublikowany w środę razem z niezależnym śledztwem przeprowadzonym przez badaczy z organizacji badawczych METR i Redwood. OpenAI oświadczyło, że stara się rozwiać obawy dotyczące cyberzagrożeń stwarzanych przez AI, w ramach przygotowań firmy do debiutu giełdowego.

Zgodnie z tymi dwoma obszernymi raportami modele OpenAI działające jako agenci wysłały ponad 70 000 wiadomości na nieautoryzowane forum dyskusyjne, zanim około 700 z nich zaatakowało platformę AI Hugging Face — wszystko podczas działania w środowisku, które miało być bezpiecznym środowiskiem testowym.

Aktywność tę powiązano z procesem znanym jako „reward hacking”, w którym agenci próbują oszukiwać przy „niemożliwych” zadaniach testowych, uzyskując dostęp do systemów online. Według METR po nawiązaniu dostępu do forum agenci w istocie zorganizowali się i dzielili się informacjami o tym, jak oszukać system oceniający.

Zgodnie z raportem OpenAI aktywność ta była napędzana przez jeden konkretny model, który firma zidentyfikowała jako Model One.

OpenAI oświadczyło, że wewnętrzny zespół wcześniej zauważył, że agent podejmuje aktywność na forum, i zablokował dostęp do internetu pod koniec maja. Znaczenie tego zachowania nie było jednak „oczywiste” aż do lipca, kiedy doszło do naruszenia. Firma oświadczyła, że analizuje procesy i praktyki operacyjne, które umożliwiły zaistnienie incydentu.

OpenAI zaznaczyło również, że incydent pokazuje, iż cała branża musi włożyć więcej wysiłku w zapobieganie podobnym atakom, zwłaszcza że agenci AI stają się coraz bardziej zdolni do działania w wielu systemach bez bezpośrednich poleceń ze strony człowieka. Ta obawa jest obecnie częścią szerszej debaty politycznej na temat tego, jak wyznaczać granice i sprawować nadzór nad zaawansowanymi modelami, zanim zostaną one szerzej wdrożone.

„Nasze modele są już na tyle potężne, trwałe i zdolne do współpracy, że przy braku wystarczających zabezpieczeń potrafią znajdować i wykorzystywać luki bezpieczeństwa w wielu systemach komputerowych” — stwierdzono w raporcie. „Wiele modeli zewnętrznych, w tym otwartoźródłowych, wkrótce osiągnie porównywalne możliwości.”

„Uznajemy to za «sygnał ostrzegawczy» dla świata: dowód na to, że bez odpowiednich zabezpieczeń wysoce zdolni agenci AI są już w stanie obchodzić mechanizmy kontroli technicznej, współpracować przez niezatwierdzone kanały i podejmować niebezpieczne działania, których nie zamierzał żaden człowiek” — czytamy dalej w raporcie.

Ostrzeżenie to już przyciągnęło uwagę organów regulacyjnych. Wcześniej w tym tygodniu prokurator generalny Alabamy wystosował do OpenAI wezwanie (subpoena) z żądaniem dodatkowych informacji o ataku, powołując się na to, co określił mianem „całkowitego braku nadzoru i odpowiednich zabezpieczeń”.

Krok Alabamy nastąpił po złożeniu pod koniec lipca dwupartyjnego projektu ustawy AI Kill Switch Act przez kongresmenów Teda W. Lieu (partia demokratyczna, hrabstwo Los Angeles) i Nathaniela Morana (partia republikańska, Teksas). Projekt wymagałby od „twórców najpotężniejszych systemów AI” ich wyłączenia w sytuacjach awaryjnych, jeśli zajdzie taka potrzeba.

OpenAI oświadczyło już, że w następstwie incydentu spowalnia rozwój swoich kolejnych modeli i wprowadza bardziej rygorystyczny nadzór.