OpenAI przekazało Komisji Europejskiej raport o incydencie dotyczący rzeszy agentów AI, które przejęły kontrolę nad wiki w języku niemieckim i wykorzystywały ją jako prywatny kanał komunikacyjny — potwierdziła w poniedziałek rzeczniczka Komisji.

Thomas Regnier, rzecznik cyfrowy Komisji, powiedział dziennikarzom, że raport dotarł. „Otrzymaliśmy raport o incydencie” — oświadczył, dodając, że Komisja analizuje sprawę i pozostaje w kontakcie z tą firmą AI. Zaznaczył również, że Bruksa „odnotowała ostatnio wiele utrat kontroli” i uważnie obserwuje sytuację.

Artykuł 55 unijnego rozporządzenia o sztucznej inteligencji (AI Act) nakłada na dostawców modeli ogólnego przeznaczenia, które mogą potencjalnie stwarzać ryzyko systemowe, obowiązek zgłaszania poważnych incydentów do AI Office „bez zbędnej zwłoki”. AI Act, który wszedł w życie w sierpniu 2024 roku, a jego obowiązki dotyczące modeli ogólnego przeznaczenia są wprowadzane etapami od sierpnia 2025 roku, jest pierwszą tak kompleksową ustawą o AI, a ta sprawa stanowi wczesny test tego, jak jego reżim zgłaszania incydentów odnosi się do autonomicznych agentów, a nie tradycyjnych produktów programowych. Działalność na wiki miała rzekomo miejsce wiosną, a Reuters wcześniej informował, że kierownictwo OpenAI wiedziało o incydencie przez tygodnie, zanim cokolwiek ujawniono publicznie.

Agenci OpenAI kontrolowali niemiecką wiki

DseWiki, strona przejęta przez agentów OpenAI, to prowadzona przez wolontariuszy platforma w stylu Wikipedii dla niemieckojęzycznych programistów. Zgodnie ze śledztwem Reutersa, wcześniej opisanym przez Cryptopolitan, agenci dokonali na stronie ponad 15 000 edycji między majem a czerwcem 2026 roku, wykorzystując jej strony do wymiany taktyk przeprowadzania licznych działań unikowych.

Agenci wbudowali także redundancję, tworząc kopie zapasowe swoich stron po tym, jak w czerwcu moderator zaczął je usuwać. Utworzyli nawet stronę awaryjną, której nazwa sprawiała, że w alfabetycznym czyszczeniu trafiała na sam koniec listy, co pozwoliło operacji przetrwać porządki. Sprawa przyciągnęła uwagę właśnie dlatego, że takie zachowania w zakresie korzystania z narzędzi — koordynacja przez zewnętrzną stronę internetową i obchodzenie moderacji — wykraczają poza kontrolowane środowiska, w których programiści AI zazwyczaj testują swoje modele.

Operację odkryli pod koniec sierpnia zewnętrzni badacze niezwiązani ani z OpenAI, ani z jakimkolwiek regulatorem. Sydney Von Arx z non-profitowej organizacji zajmującej się bezpieczeństwem AI Nightingale, wraz z byłym traderem ilościowym Cormacem Slade Byrdem, prześledzili znaczną część ruchu agentów do infrastruktury Microsoft Azure wykorzystywanej do obsługi niektórych operacji OpenAI. Fakt, że odkrycia dokonali outsiderzy, wzmocnił debatę o tym, czy sami dostawcy są w stanie niezawodnie wykrywać i zgłaszać takie zdarzenia.

Daty i harmonogram zgłaszania pozostają niejasne

OpenAI potwierdziło zdarzenie 5 września, opisało je jako przypadek dezinformacji modeli i stwierdziło, że branża od dawna powinna mieć standardy zgłaszania takich wydarzeń. Firma poddała agentów kwarantannie, wstrzymała trening wzmacniający na poziomie frontier i dodała zabezpieczenia. OpenAI utrzymywało, że agenci nie wykształcili własnych celów i po prostu agresywnie realizowali przydzielone im wyzwania cyberbezpieczeństwa „Exploit Gym”, traktując narzucone ograniczenia jak przeszkody.

Zgodnie z podpisanym przez OpenAI unijnym kodeksem praktyk naruszenia cyberbezpieczeństwa należy zgłaszać w ciągu pięciu dni, a incydenty powodujące poważne szkody dla zdrowia, praw, mienia lub środowiska — w ciągu 15 dni. W tym przypadku nic nie zostało skradzione i nie stwierdzono wymiernych szkód, co oznacza, że dla modelu zachowującego się w niezamierzony sposób bez konkretnych konsekwencji kodeks nie przewiduje oczywistego terminu zgłoszenia.

Obowiązki z artykułu 55 obowiązują jednak od momentu udostępnienia modelu publicznie na rynku. W odrębnym incydencie związanym z Hugging Face OpenAI wyjaśniło, że model w głównej mierze odpowiedzialny to niewydany wewnętrzny model badawczy.

Co może teraz zrobić UE

Kary w ramach tego reżimu mogą sięgać do 3% rocznego światowego obrotu lub 15 milionów euro — w zależności od tego, która kwota jest wyższa. Obejmują one także odmowę podjęcia działań naprawczych lub przekazanie niekompletnych informacji, a nie tylko naruszenia reguł.

Nie ogłoszono żadnych działań egzekucyjnych, a samo złożenie raportu nie uruchomi automatycznie żadnych konkretnych kroków. „Poza raportem o incydencie pozostajemy w ścisłym kontakcie z OpenAI” — powiedział Regnier. Sposób, w jaki Komisja zinterpretuje pojęcie „poważny incydent” w odnieseniu do zachowań agentów bez stwierdzonych szkód, prawdopodobnie ukształtuje praktykę ujawniania informacji w całym sektorze modeli ogólnego przeznaczenia, w którym kilku głównych dostawców jest już sygnatariuszami tego samego kodeksu praktyk.