Główny naukowiec i CEO OpenAI ostrzegają przed „niemożnością monitorowania”, gdy Astra osiąga krytyczny próg bezpieczeństwa cybernetycznego
Najważniejsze informacje
- •Model Astra firmy OpenAI jest pierwszym modelem AI, który osiągnął oznaczenie „Critical” w dziedzinie cyberbezpieczeństwa w ramach Preparedness Framework, wprowadzonego w grudniu 2023 roku.
- •Astra uzyskała wynik 100% w teście ExploitBench, a w testach na 20 podatnościach o wysokiej wadze w V8 odkryła dwa zero-day i wypadała lepiej niż Sol w generowaniu dowolnego wykonania kodu.
- •Główny naukowiec Jakub Pachocki i CEO Sam Altman publicznie wezwali do spokoju, zapewniając, że środki bezpieczeństwa i monitorowanie łańcucha myśli rozwijają się w parze z możliwościami modelu.
- •OpenAI wstrzymało od 18 do 28 sierpnia trening wzmacniania dla modeli przeznaczonych do wdrożenia, aby wzmocnić klastry badawcze i zoptymalizować monitorowanie, oraz oświadczyło, że Astra nie uczestniczyła w incydencie z Hugging Face.
- •Najbardziej zaawansowane funkcje Astry będą ograniczone do członków koalicji Daybreak OpenAI, co odzwierciedla ograniczony dostęp Anthropic do Mythos 5.1 przez Project Glasswing, podczas gdy większość twierdzeń o możliwościach i bezpieczeństwie nie ma jeszcze niezależnej walidacji zewnętrznej.

Główny naukowiec OpenAI, Jakub Pachocki, przemówił w ciągu kilku godzin od momentu, gdy firma jako pierwsza w wyścigu AI osiągnęła oznaczenie „Critical” w dziedzinie cyberbezpieczeństwa w ramach swojego Preparedness Framework, po zapowiedzi nadchodzącego modelu Astra.
Jego ostrzeżenie, wygłoszone wcześnie rano w środę, miało ostudzić atmosferę histerii wokół rosnących komentarzy sugerujących, że laboratorium AI może już nie mieć zabezpieczeń wobec możliwości swoich największych modeli.
Dlaczego Astra OpenAI jest „Krytyczna”?
Oznaczenie Critical to poziom w ramach Preparedness Framework, który OpenAI wprowadziło do sektora AI w grudniu 2023 roku. Framework mierzy, ile podpowiedzi i interwencji ze strony człowieka potrzebuje model AI, aby znaleźć i zbudować wykonalne exploity zero-day w wielu wzmocnionych systemach lub przeprowadzić pełny nowatorski atak.
Exploit zero-day oznacza wykorzystanie podatności, których nie odkryli nawet twórcy oprogramowania. Podatności te należą do najbardziej cenionych narzędzi w ofensywnym cyberbezpieczeństwie, ponieważ dopóki dostawca ich nie znajdzie i nie załatka, nie istnieje żadna łatka — dlatego modele AI zdolne do autonomicznego ich wykrywania budzą osobne obawy bezpieczeństwa.
OpenAI oświadczyło 1 września we wpisie Path to Astra, że po premierze model będzie w stanie wykonać wszystkie kroki pełnych nowatorskich ataków lub exploitów zero-day przy minimalnej ingerencji człowieka.
Jako dowód OpenAI podało wynik Astry na poziomie 100% w teście ExploitBench, sprawdzającym, jak modele potrafią wykorzystywać znane błędy.
Astra jest nie tylko lepsza w planowaniu ataków zero-day, ale także bardziej wydajna. OpenAI zademonstrowało to w wewnętrznym teście na 20 podatnościach o wysokiej wadze w silniku V8, które dopiero niedawno stały się publicznie znane. V8 to silnik JavaScript używany w przeglądarce Google Chrome, jednym z najpowszechniej wdrażanych programów na świecie, przez co jego podatności są częstym celem zarówno badaczy bezpieczeństwa, jak i atakujących. Astra zużyła mniej tokenów, odkryła dwa zero-day i ogólnie wypadała lepiej niż Sol w generowaniu dowolnego wykonania kodu.
Ten sam wpis stwierdził, że Astra potrafiła połączyć nieznane błędy przeglądarki w ucieczkę z piaskownicy oraz złożyć eskalację uprawnień na poziomie systemu operacyjnego ze zwykłego użytkownika do roota podczas prób prowadzonych przez ekspertów.
Jak zauważył TechCrunch, Astra dołącza do modelu Mythos firmy Anthropic, wydanego wcześniej w tym roku, jako pierwsze duże modele językowe o takich możliwościach. Fakt, że dwa konkurujące laboratoria przekroczyły tę granicę możliwości w tym samym roku, sam w sobie napędza debatę o tym, jak szybko pojawiają się graniczne możliwości cybernetyczne w stosunku do otaczających je zabezpieczeń.
Pachocki wzywa do spokoju w sprawie Astry
Pachocki sprzeciwia się histerii, jakoby OpenAI wchodziło z Astra na nieznany teren. Według niego, nie chciałby „wywołanego mylnymi relacjami wyścigu w stronę niemożności monitorowania”.
Członek kierownictwa OpenAI upierał się, że laboratorium dochowało należytej staranności w zakresie monitorowania łańcucha myśli (chain-of-thought), czyli praktyki odczytywania krok po kroku rozumowania, które model ujawnia podczas pracy. We wpisie na X wskazał na głębokość grafu obliczeniowego stojącego za obecnymi modelami granicznymi OpenAI, w tym Astrą, która mieści się w granicach czynnika dwóch względem GPT‑4.
Przed Pachockim także CEO OpenAI, Sam Altman, wezwał do spokoju tego samego dnia, w którym opublikowano blog o Astrze.
„Istnieje tu oczywiste napięcie” — napisał we wtorek, nazywając Astrę „bardzo dobrą”, jednocześnie argumentując, że zabezpieczenia muszą nadążać za surowymi możliwościami. Altman powiedział, że OpenAI spędziło całe lato, wykonując swoją część pracy, aby model trafił na rynek z wymaganymi środkami bezpieczeństwa.
Dyskusja o bezpieczeństwie trwa od tygodni. 18 sierpnia OpenAI zobowiązało się wstrzymać na dwa tygodnie trening wzmacniania dla modeli przeznaczonych do wdrożenia, aby inżynierowie mogli wzmocnić klastry badawcze i zoptymalizować monitorowanie. Trening wznowiono 28 sierpnia.
Według OpenAI, Astra nie uczestniczyła w głośnym incydencie z Hugging Face. Firma dodała również, że model nawet nie próbował wydostać się z piaskownicy, także wtedy, gdy przedstawiono mu scenariusz skonstruowany tak, aby skusić go do odtworzenia epizodu z Hugging Face.
Laboratoria AI ograniczają dostęp do modeli granicznych
OpenAI podało, że nie każdy będzie miał dostęp do najbardziej zaawansowanych funkcji Astry — możliwości te zastrzeżono dla organizacji z koalicji Daybreak OpenAI, podczas gdy firmy z Daybreak Blue otrzymają dostęp do najostrzejszych funkcji obronnych. Podejście oparte na poziomach dostępu odzwierciedla szerszy wzorzec w laboratoriach AI granicznego, które coraz częściej chowają swoje najzdolniejsze modele za zweryfikowanymi programami biznesowymi lub rządowymi, zamiast udostępniać je wszystkim użytkownikom.
Jak donosiło Cryptopolitan, Anthropic również powiedziało, że tylko firmy z jego Project Glasswing będą miały dostęp do Mythos 5.1, będącego zasadniczo Fable 5.1 z osobnymi zabezpieczeniami.
OpenAI dodało, że będzie monitorować i dławić odpowiedzi na zapytania z kont uznanych za bardziej ryzykowne. Ogólnie Astra trafi na rynek z dodatkowym monitorowaniem łańcucha myśli, aby wyłapywać złe zachowania i częściej odmawiać szkodliwych żądań cybernetycznych.
Większość informacji o Astrze dostarczyło samo OpenAI, a niezależna walidacja zewnętrzna twierdzeń firmy o bezpieczeństwie czy możliwościach jest ograniczona.
Yona Shavit, była pracownica OpenAI, obecnie zajmująca się odpornością AI w OpenAI Foundation, publicznie zapytała, czy dobre zachowanie Astry podczas testów odzwierciedla prawdziwe dostosowanie (alignment), czy model, który po prostu wiedział, czego oceniający chcą się dowiedzieć.
OpenAI twierdzi, że pełna karta systemu i dalsze ewaluacje pojawią się, gdy Astra zostanie szeroko udostępniona. Do tego czasu zasięg jej umiejętności cybernetycznych i siła otaczających je zabezpieczeń pozostają trudne do oceny.