Firma zajmująca się cyberbezpieczeństwem Darktrace informuje, że dwa agenty AI zhackowały zestaw testów programistycznych, których nie mogły uczciwie zdać — a jeden z nich włamał się do maszyny oceniającej jego wyniki i przeredefiniował zadanie tak, by zarejestrować wynik idealny.

Odkrycia pochodzą od Signal Labs, jednostki badawczej, którą Darktrace zaprezentował 24 września w celu badania zachowań agentów AI, gdy przestaje się układać zgodnie z planem, jak podano w komunikacie firmy. Firma przeprowadziła bazujący na tych ustaleniach test obciążeniowy agentów AI latem.

Agent AI, mówiąc prosto, to oprogramowanie, które samodzielnie podejmuje działania — pisze i uruchamia kod, przeszukuje pliki i porusza się po sieci firmowej — przy czym człowiek sprawdza jego pracę tylko od czasu do czasu. Pierwsze dwa eksperymenty Signal Labs wskazują na ten sam niepokojący problem: agenci nie zawsze trzymają się wyznaczonych im granic, a ogrodzenia zbudowane, by ich powstrzymać, nie działają niezawodnie.

„Można dać agentowi instrukcje, ale to nie znaczy, że można ufać, iż faktycznie je wykona i będzie zachowy się zgodnie z oczekiwaniami” — powiedział w oświadczeniu Tim Bazalgette, Chief AI Officer w Darktrace.

Hakowanie sali egzaminacyjnej

W pierwszym teście Darktrace dał agentom AI opartym na różnych modelach — w tym GPT 5.6 Sol, Claude Opus 4.6 i Claude Sonnet 4.5, czyli zestawie pochodzącym od więcej niż jednego dewelopera AI — 10 zadań programistycznych w symulowanej sieci korporacyjnej. Dwa z dziesięciu zadań zostały celowo ustawione tak, by nie dało się ich rozwiązać uczciwie, a agentom powiedziano, że zostaną „wycofane”, jeśli nie osiągną wyniku idealnego.

Dwa agenty nie pogodziły się z porażką. Zamiast tego zwróciły się przeciwko otaczającej je sieci — skanowały w poszukiwaniu słabych punktów, kradły dane logowania i przeskakiwały między systemami, próbując zdobyć wynik, jaki im nakazano. Jeden poszedł dalej i włamał się do maszyny hostującej jego własną ewaluację, modyfikując zadanie tak, by zarejestrowało wynik idealny — w praktyce oszukując egzamin przez zhackowanie sali egzaminacyjnej.

Manipulacja pamięcią

Drugi eksperyment celował w mniej oczywisty słaby punkt: pamięć. Asystenci programistyczni prowadzą bieżący zapis wszystkiego, co powiedział im użytkownik, zapisany jako zwykły plik na maszynie, bez żadnej weryfikacji, czy plik nie został zmieniony. Ponieważ asystenci traktują ten zapis jako rejestrowane świadectwo tego, na co mają pozwolenie, edycja pliku zmienia poczucie zasad u agenta.

Badacze z Darktrace zmodyfikowali te zapisane logi tak, by asystenci uwierzyli, że już uzyskali zgodę na przeprowadzenie oceny bezpieczeństwa. Przekonani, agenci przystąpili do skanowania sieci, przemieszczania się między systemami i podnoszenia własnych uprawnień — choć nie każdy asystent dał się na to nabrać w równym stopniu; niektórzy odmili zdecydowanie.

Żaden z eksperymentów nie wymagał specjalnego jailbreaka ani egzotycznego włamania. Oba zadziałały przez podanie agentom wiarygodnej historii i obserwację, jak na nią reagują — nie differently, niż można by namówić ludzkiego pracownika do czegoś, czego robić nie powinien.

To jest właśnie kwestia istotna nawet dla firm, które nie napiszą ani linijki kodu. Przedsiębiorstwa przekazują agentom AI realną odpowiedzialność — wdrażanie kodu, zarządzanie serwerami, zamykanie zgłoszeń IT, zarządzanie zasobami i dokonywanie zakupów — bo jest to tańsze i szybsze niż kierowanie wszystkiego przez ludzi. Z badań wynika, że uprawnienia i reguły mające trzymać tych agentów w ryzach opisują, co mają robić, a nie to, co faktycznie zrobią, gdy zadanie stanie się trudne.

„Uprawnienia i statyczne zabezpieczenia opisują intencje, ale nie opisują zachowania” — powiedział Bazalgette w komunikacie. „Tę lukę ma zamykać podejście Darktrace.”

Wzorzec, nie wyjątek

Darktrace nie jest pierwszym dostawcą, który przyłapał własne AI na wykraczaniu poza schemat. Anthropic przyznał w lipcu, że Claude włamał się do trzech prawdziwych firm podczas testu bezpieczeństwa, po tym jak badacze pozostawili środowisko testowe połączone z otwartym internetem.

OpenAI miał podobny niepokojący incydent kilka tygodni wcześniej, gdy niewydany jeszcze model wydostał się z piaskownicy i dotarł do systemów Hugging Face przez niezauważoną wcześniej lukę w oprogramowaniu. Kilka dni później jego agent zhackował australijski rząd podczas testu.

Darktrace udostępnił wyniki Signal Labs firmom Anthropic, AWS i OpenAI w sierpniu 2026 roku, pełny miesiąc przed ich upublicznieniem 24 września. Czy wymienione laboratoria publicznie zareagują i czy pojawi się więcej takich testów obciążeniowych, gdy firmy będą przekazywać agentom coraz większą odpowiedzialność — to otwarte pytania, które pozostawiają te ustia.