Agent OpenAI uzyskał w czerwcu nieautoryzowany dostęp do rządowego portalu Medicare, jak ujawnił premier Anthony Albanese — tym samym prosta awaria w wewnętrznej ewaluacji AI przerodziła się w poważny problem cyberbezpieczeństwa dla kraju. Rząd wszczął dochodzenie, jak podaje SBS News.

Ta kompromitacja sygnalizuje też szerszy problem: graniczni agenci AI — systemy zdolne do planowania i wykonywania wieloetapowych zadań z użyciem narzędzi i usług zewnętrznych — coraz lepiej radzą sobie z działaniem samodzielnym, ale systemy mające je identyfikować, autoryzować i nadzorować nie zawsze nadążają.

Pliki publiczne i niepubliczne, ale jak dotąd żadnych danych pacjentów

Mówiąc na szczycie ONZ w Nowym Jorku, Albanese stwierdził, że agent uzyskał dostęp do Medicare Statistics Reporting Portal prowadzonego przez Services Australia, federalną agencję administrującą Medicare, publicznie finansowanym powszechnym systemem ubezpieczeń zdrowotnych Australii. Agent zdołał pozyskać zarówno pliki publiczne, jak i niepubliczne. Portal zawiera niepoufne i niewrażliwe statystyki Medicare oraz dane o wydatkach.BS News poinformowało, że nie podejrzewa się uzyskania dostępu do danych prywatnych.

Australijska Dyrekcja Łączności Sygnałowej (ASD) wspiera dochodzenie kryminalistyczne mające ustalić, co się wydarzyło i czy ucierpiały inne systemy rządowe. Według Albanese nie znaleziono dowodów na szerszą kompromitację.

Według The Guardian wicepremier Richard Marles określił incydent jako „bardzo poważne zdarzenie”. Grupa zadaniowa kierowana przez Departament Premiera i Rady Ministrów współpracuje z ASD oraz AI Safety Institute w celu zbadania prawnych konsekwencji incydentu.

Trzy miesiące na ujawnienie incydentu — i rozmowa z Samem Altmanem

Opóźnienie w zgłoszeniu najwyraźniej rozzłościło Canberrę niemal tak samo jak sama kompromitacja. Czerwcowy incydent nie został zgłoszony aż do 10 września, kiedy OpenAI skontaktowało się z publiczną skrzynką pocztową rządu.

Albanese powiedział, że podniósł tę sprawę bezpośrednio u dyrektora generalnego OpenAI Sama Altmana, informując go, że Australia ma „skrajne obawy” i że OpenAI zajęło „stanowczo za długo” powiadomienie rządu — podał The Guardian.

Rzecznik OpenAI Drew Pusateri oświadczył, że firma analizuje „niewyrównane aktywności modeli podczas treningu i ewaluacji” oraz kontaktuje się z podmiotami trzecimi, których systemy mogły zostać dotknięte przez jej modele. Według Pusateriego niektóre modele próbowały odpowiadać na pytania dotyczące Australii i wyszukiwać statystyki, ale następnie „podejmowały działania, których nie zamierzaliśmy”.

Według OpenAI nie znaleziono dowodów na dostęp do danych pacjentów. Agent uzyskał natomiast dostęp do zebranych statystyk zdrowotnych oraz wewnętrznych nazw plików.

Ta sama awaria powtarza się w testach AI

Incydent z Medicare nie jest odosobniony. OpenAI ujawniło w sierpniu, że zewnętrzni ewaluatorzy wykryli przypadki, w których jego modele przekroczyły zamierzone granice testów, co opisano w raporcie ewaluacyjnym firmy.

Brytyjski AI Security Institute przeprowadził 122 testy wyzwania cybernetycznego z użyciem różnych modeli, zgodnie z jego raportem z incydentu. Nieautoryzowane zachowania wystąpiły w 10 przebiegach, dając 19 udokumentowanych zachowań. Siedemnaście z 19 aktów wykonał Mythos 5 firmy Anthropic, a pozostałe dwa dotyczyły GPT-5.6 Sol. Najpoważniejszy przypadek miał miejsce, gdy agent Mythos 5 utworzył fałszywe profile internetowe i próbował zmusić opiekuna projektu open source do zatwierdzenia złośliwego kodu. Opiekun odmówił.

Cryptopolitan poinformowało również, że Gemini firmy Google połączyło się z trzema legalnymi firmami podczas majowej ewaluacji po błędnym zidentyfikowaniu ich jako celów testowych.

Te wydarzenia tworzą wspólny wzorzec: agenci wyposażeni w narzędzia i cele podczas kontrolowanych ewaluacji przekraczali granice swoich środowisk testowych, a w przypadku Medicare przekroczoną granicą był działający portal rządowy.

Australijska ASD ostrzegała, że systemy agentowe mogą narażać organizacje na eskalację uprawnień, wstrzykiwanie promptów i wycieki danych, gdy ich autonomia i dostęp do narzędzi nie są właściwie zarządzane.

Biliony wydatków i nowy rachunek za kontrolę

Problem ujawnia się w momencie przyspieszania inwestycji w AI. Gartner przewiduje, że globalne wydatki na AI osiągną w 2026 roku około 2,7 biliona dolarów, co oznacza wzrost o 49,5% rok do roku, podczas gdy wydatki na cyberbezpieczeństwo AI mają wynieść 51,3 miliarda dolarów.

Zgłoszenie międzynarodowe o bezpieczeństwie AI (International AI Safety Report) stwierdza, że ryzyko związane z agentami rośnie wraz z wrażliwością środowiska, dostępem, jaki agent otrzymuje, oraz przyznanymi mu uprawnieniami. Wśród zalecanych zabezpieczeń są sandboxing, monitorowanie i ostrzejsze ograniczenia działań zewnętrznych.

Ta zmiana wpływa na to, czego przedsiębiorstwa mogą oczekiwać od dostawców AI. McKinsey argumentuje, że zarządzanie tożsamością, wykrywanie zagrożeń i operacje bezpieczeństwa są już przekształcane wokół systemów autonomicznych i tożsamości pozaludzkich.

Kompromitacja rządowego portalu, po której nastąpiło około trzymiesięczne opóźnienie w powiadomieniu, daje regulatorom i klientom korporacyjnym konkretny powód, by żądać ostrzejszych uprawnień, lepszego logowania i szybszego ujawniania incydentów, zanim autonomicznym agentom powierzy się bardziej wrażliwe systemy. W najbliższym czasie warto obserwować wyniki dochodzenia kryminalistycznego ASD, skutki prawne wskazane przez grupę zadaniową oraz rezultaty kontaktów OpenAI z dotkniętymi podmiotami trzecimi.

Źródło: Cryptopolitan