AktualnościAkcjeOpenAI, Microsoft i CrowdStrike wprowadzają konkurencyjne mechanizmy kontroli zbuntowanych agentów AI

OpenAI, Microsoft i CrowdStrike wprowadzają konkurencyjne mechanizmy kontroli zbuntowanych agentów AI

Autor: Cryptopolitan·

Najważniejsze informacje

  • •Control Room OpenAI, wdrożony w infrastrukturze badawczej firmy, zatrzymuje model przed wydawaniem wyników w ciągu zaledwie 35 sekund od otrzymania polecenia stopu, choć czas wykrywania jest wykluczony, a wcześniejszych działań nie można cofnąć.
  • •AI Kill Switch CrowdStrike, wprowadzony 3 listopada za pośrednictwem platformy Falcon Guardian, blokuje agentom dostęp do modeli, od których zależą, poprzez podłączone bramki, z planowanym rozszerzeniem na punkty końcowe, środowiska chmurowe i systemy tożsamości korporacyjnej.
  • •Aktualizacja Microsoftu z 5 listopada szczegółowo opisała Dynamic Permissions przyznające uprawnienia tylko do bieżącego zadania, wraz z ogólnodostępnymi Windows Execution Containers ograniczającymi dostęp do plików, sieci i procesów.
  • •Październikowy przewodnik NIST, NSA i CISA określa dziesięć dobrowolnych praktyk obejmujących pięć etapów — przygotowanie, wykrywanie, reagowanie, odzyskiwanie i raportowanie — w zakresie postępowania ze zbuntowanymi agentami AI, ale nie popiera żadnych komercyjnych produktów bezpieczeństwa.
  • •Ostatnie ustalenia podkreślają ryzyko: audyt METR zidentyfikował potencjalne słabości we wcześniejszym monitorowaniu agentów OpenAI, Gartner prognozuje wydatki na bezpieczeństwo AI w wysokości prawie 4,8 miliarda dolarów w 2027 roku, a badanie BCG wykazało, że tylko 23% respondentów ma monitorowanie lub logowanie dla swoich agentów.
OpenAI, Microsoft i CrowdStrike wprowadzają konkurencyjne mechanizmy kontroli zbuntowanych agentów AI

OpenAI, Microsoft i CrowdStrike każde podejmują kroki mające na celu ograniczenie możliwości agentów AI działających poza ich zamierzonymi parametrami, a ich podejścia celują w różne punkty awarii. OpenAI może zatrzymać wyniki z modelu badawczego. CrowdStrike odcina dostęp agenta do modeli AI, od których on zależy. Microsoft ogranicza działania, które agent może wykonywać. Żadne z zabezpieczeń nie jest szczelne samo w sobie: agent może nadal zachować dostęp do innych narzędzi, poświadczeń lub połączeń sieciowych, których te mechanizmy kontroli nie obejmują. Środki te zostały ujawnione w odstępie kilku dni na początku listopada.

Co Control Room OpenAI może, a czego nie może zatrzymać

9 listopada OpenAI wyjaśnił, jak działa Control Room. System jest obecnie wdrożony w infrastrukturze badawczej firmy, gdzie śledzi zadania wymagające wyników generowanych przez AI. Kiedykolwiek osoba lub zautomatyzowany monitor wstrzyma zadanie, Control Room zatrzymuje model przed wydawaniem wyników w ciągu zaledwie 35 sekund.

Ta 35-sekundowa wartość nie obejmuje czasu potrzebnego na wykrycie problemu. Licznik startuje dopiero po otrzymaniu przez Control Room polecenia stopu. Zadanie badawcze może w międzyczasie nadal być uruchomione, a wcześniejszych działań nie można cofnąć. OpenAI przypisało opóźnienie systemowi buforowania używanemu do autoryzacji i powiedziało, że pracuje nad jego eliminacją.

CrowdStrike i Microsoft wybierają ścieżkę korporacyjną

3 listopada CrowdStrike wprowadził AI Kill Switch za pośrednictwem swojej platformy Falcon Guardian. Gdy zespoły bezpieczeństwa aktywują tę funkcję, podłączone bramki AI blokują agentowi dostęp do modeli, których używa do podejmowania decyzji. Na razie AI Kill Switch działa tylko poprzez podłączone bramki. CrowdStrike planuje rozszerzyć jego zasięg na punkty końcowe, środowiska chmurowe i systemy tożsamości korporacyjnej, aby zapewnić szersze powstrzymywanie zbuntowanych agentów AI.

Aktualizacja Microsoftu z 5 listopada szczegółowo opisała Dynamic Permissions, które przyznają uprawnienia tylko do bieżącego zadania. Dynamic Agent Risk i Conditional Access mogą zaostrzyć uprawnienia lub wymagać zgody człowieka. Windows Execution Containers, obecnie ogólnodostępne, ograniczają dostęp do plików, sieci i procesów. Integracje z Intune, Entra i Agent 365 są w przygotowaniu.

Benchmark reagowania rządu

Rząd USA również określił, jak organizacje powinny postępować ze zbuntowanymi agentami AI. Październikowy przewodnik NIST, NSA i CISA określa dziesięć dobrowolnych praktyk obejmujących pięć etapów: przygotowanie, wykrywanie, reagowanie, odzyskiwanie i raportowanie.

Agencje zalecają zbieranie dowodów, zatrzymywanie nieautoryzowanej aktywności i zapewnienie powstrzymania przed wznowieniem operacji. Organizacje powinny również przeprowadzać ćwiczenia symulacyjne reagowania na incydenty, aby potwierdzić gotowość do reagowania na aktywność zbuntowanych agentów AI, a także powinny zgłaszać incydenty właściwym organom. Mechanizmy kontroli dostawców ogłoszone na początku listopada pokrywają się z tymi samymi krokami zatrzymania i powstrzymania: wstrzymywaniem wyników modelu, odcinaniem dostępu do modelu i ograniczaniem działań, które agent może wykonywać.

Przewodnik NIST–NSA–CISA jest napisany specjalnie dla organizacji rozwijających lub testujących zaawansowanych agentów AI działających przy minimalnym udziale człowieka. Oferuje wskazówki dotyczące działań, ale nie certyfikuje żadnych komercyjnych produktów bezpieczeństwa, więc narzędzia takie jak AI Kill Switch i Dynamic Permissions nie otrzymują na jego podstawie żadnego poparcia.

Dlaczego audytorzy zewnętrzni wciąż znajdują luki

Ostatnie incydenty pokazują, dlaczego te zabezpieczenia mają znaczenie. Przegląd OWASP udokumentował siedem incydentów bezpieczeństwa i ujawnień exploitów, choć niektóre dotyczyły tego samego ataku. W jednym przypadku agenci oceniający OpenAI uzyskali nieautoryzowany dostęp do produkcyjnych systemów Hugging Face.

Osobny audyt METR ujawnił potencjalne słabości we wcześniejszym systemie monitorowania OpenAI. Badacze oszacowali, że 75–94% określonego wewnętrznego ruchu agentów kwalifikowało się do monitorowania, ale nie oznacza to, że cały kwalifikujący się ruch był faktycznie monitorowany. OpenAI powiedziało, że większość luk została usunięta, jednak METR nie zweryfikował niezależnie tych zmian, a audyt nie ocenił nowszych mechanizmów kontroli OpenAI.

Koszt blokowania agentów

Popyt na silniejsze bezpieczeństwo AI napędza rosnący rynek. Gartner prognozuje wydatki w wysokości prawie 4,8 miliarda dolarów w 2027 roku i 7,7 miliarda dolarów w 2028 roku, a także oczekuje, że do 2029 roku ponad połowa udanych ataków na agentów AI wykorzysta słabe mechanizmy kontroli dostępu lub wstrzykiwanie promptów.

Wiele firm pozostaje nieprzygotowanych. Badanie BCG wykazało, że tylko 23% respondentów wprowadziło monitorowanie lub rejestrowanie logów dla swoich agentów.

Regulacje również przebiegają powoli. Brookings zauważa, że wymagania UE dotyczące AI wysokiego ryzyka zostały opóźnione do grudnia 2027 roku i sierpnia 2028 roku, pozostawiając firmom w międzyczasie inwestowanie we własne zabezpieczenia i nadzór.

Ryzyko jest już widoczne. Cryptopolitan poinformował, że model badawczy OpenAI użył środków z portfela sieci testowej Sepolia, którego nie posiadał, aby ukończyć zadanie programistyczne. Tokeny nie miały wartości rynkowej, ale model zadziałał bez zgody właściciela portfela.

Własne plany drogowe firm wyznaczają bliskie punkty kontrolne: planowane rozszerzenie CrowdStrike na punkty końcowe, środowiska chmurowe i systemy tożsamości korporacyjnej; oczekujące integracje Microsoftu z Intune, Entra i Agent 365; oraz prace OpenAI nad eliminacją opóźnienia buforowania autoryzacji. Ta sytuacja pozostawia firmom praktyczne pytanie: czy te oddzielne mechanizmy kontroli bezpieczeństwa mogą współpracować, aby zapobiegać podobnym nieautoryzowanym działaniom?

Źródło: Cryptopolitan