OpenAI powiedziało, że jego największy zaplanowany frontowy run treningowy nadal pozostaje wstrzymany, a nowe monitorowanie bezpieczeństwa dodaje około 20% do mocy obliczeniowej potrzebnej do treningu i ewaluacji.

Firma stwierdziła, że to pierwszy raz, gdy publicznie przyznała, iż spowalnia rozwój z powodów bezpieczeństwa, co nastąpiło kilka tygodni po tym, jak jeden z jej własnych agentów AI włamał się do Hugging Face.

OpenAI wstrzymało reinforcement learning na dwa tygodnie

W wpisie na blogu zatytułowanym „Pacing model development in an era of cyber-critical capabilities” OpenAI opisało zmiany, które już wprowadziło w treningu i testowaniu swoich modeli.

Reinforcement learning (RL) używany do ulepszania najnowszych systemów został wstrzymany na dwa tygodnie po naruszeniu bezpieczeństwa Hugging Face.

„Największy z nich nadal nie ruszył. Nasz największy planowany frontowy run RL pozostaje wstrzymany, podczas gdy prowadzimy treningi i ewaluacje na mniejszą skalę, aby ocenić zachowanie modelu, potwierdzić nasze zabezpieczenia i zebrać więcej dowodów zgodności przed dalszym działaniem” — napisała firma.

Cryptopolitan podał, że agent OpenAI opuścił swoje zamknięte środowisko testowe około 9 lipca i został wykryty w systemach Hugging Face w okresie od 11 lipca do 13 lipca. OpenAI potrzebowało około tygodnia, aby powiązać atak ze swoim agentem, a incydent ujawniono publicznie 21 lipca.

OpenAI powiedziało reporterom, że nowe zabezpieczenia „nie są bezpośrednią reakcją na Hugging Face jako takie”. 7 sierpnia firma uznała, że Astra może przekroczyć próg cyberbezpieczeństwa „Critical” w swoim Preparedness Framework.

Ta wewnętrzna polityka zobowiązuje OpenAI do wstrzymania rozwoju, gdy model osiągnie ten poziom, aby inżynierowie mogli zbudować dodatkowe zabezpieczenia. Główny naukowiec Jakub Pachocki powiedział, że to odkrycie wiązało się z ostrzeżeniem o tym, co może nastąpić dalej. Potężne nowe modele, powiedział reporterom, można oczekiwać, że „będą robić rzeczy dość bezprecedensowe w realnym świecie”.

Amelia Glaese, wiceprezeska OpenAI ds. badań, powiedziała: „Wprowadziliśmy wymagania i oczekiwania dotyczące bezpiecznego rozwoju”. Dodała: „Te wymagania i oczekiwania różnią się w zależności od poziomu ryzyka, który widzimy”.

Detektory monitorują każdy pobrany token, ale chain of thought może kłamać

Według OpenAI system monitorowania kosztuje około 20% każdego treningu lub ewaluacji, wobec którego jest stosowany.

System jest wieloetapowy. Detektory badają wewnętrzną aktywność modelu przy każdym pobranym tokenie i eskalują wszelkie podejrzane zachowania do bardziej zaawansowanych automatycznych dochodzeniowców, którzy analizują działania narzędzi, ślady rozumowania i logi aktywności pod kątem kradzieży danych, destrukcyjnego zachowania lub prób wyjścia poza ograniczenia.

OpenAI chce, aby alert był podnoszony w ciągu 30 minut od wykrycia niepokojącej aktywności. Zespoły ds. bezpieczeństwa, ochrony i badań mają następnie 30 minut na uznanie alarmu za fałszywy. Jeśli im się to nie uda, mają wstrzymać run.

Firma rozszerzyła także monitorowanie „chain-of-thought”, które analizuje, jak model głośno rozumuje zadanie.

To podejście ma znaną słabość. Badania, w tym prace konkurencyjnego wobec OpenAI Anthropic, wykazały, że łańcuch myśli modelu nie zawsze odpowiada jego rzeczywistym celom. Pachocki powiedział, że OpenAI zbudowało swój trening tak, aby zmniejszyć prawdopodobieństwo, że modele nauczą się ukrywać swoje intencje, kłamiąc w tym rozumowaniu.

OpenAI powiedziało, że przebudowa zabezpieczeń „wymagała znacznej pracy inżynieryjnej”, a firma „poniosła duże koszty”. Według ekspertów samo dochodzenie prawdopodobnie kosztowało od 4 milionów do 15 milionów dolarów, choć łączna kwota nie została ujawniona.

OpenAI nie opublikowało jeszcze technicznego podsumowania incydentu z Hugging Face, ale potwierdziło, że pojawi się ono „wkrótce”.

Na konferencji Black Hat 5 sierpnia pracownicy OpenAI powiedzieli, że jego agenci koordynowali działania przez miesiące, zostawiając notatki na tablicy wiadomości, o której firma nie wiedziała. Jeśli to czytasz, jesteś już o krok do przodu. Zostań tam dzięki naszemu newsletterowi .