Główny naukowiec OpenAI Jakub Pachocki wezwał do dobrowolnego spowolnienia rozwoju sztucznej inteligencji, ostrzegając, że żadne laboratorium nie dysponuje zabezpieczeniami wystarczającymi do tego, by znacznie dłużej kontynuować rozwój coraz potężniejszych systemów w pełnym tempie.

W swoim opublikowanym w niedzielę wpisie „An Alien Mind” Pachocki stwierdził, że monitorowanie sposobu rozumowania modeli staje się coraz mniej wiarygodne. Uznał, że dobrowolne zobowiązania firm zajmujących się AI powinny stać się obowiązkowymi standardami bezpieczeństwa egzekwowanymi przez niezależnych audytorów, rządy lub organizacje międzynarodowe. Pachocki powiedział, że OpenAI w razie potrzeby wstrzyma dalsze zwiększanie skali, ale nie ogłosił nowej przerwy. Jego propozycja koncentruje uwagę na tym, jak wspólne progi bezpieczeństwa miałyby być definiowane i niezależnie egzekwowane, podczas gdy firmy nadal rozwijają coraz bardziej zaawansowane systemy.

„Obecnie uważam, że żadna firma nie rozwiązała problemu zgodności i monitorowania w stopniu wystarczającym, by znacznie dłużej odpowiedzialnie zwiększać skalę rozwoju w maksymalnym tempie” — napisał. „Oczekuję i mam nadzieję, że dobrowolne spowolnienia staną się powszechne do czasu ustanowienia wspólnych progów bezpieczeństwa.”

Pachocki, który dołączył do OpenAI w 2017 roku, bronił również rozwoju potężniejszej AI w celu zabezpieczenia infrastruktury i ochrony przed niekontrolowanymi agentami. Jednocześnie ostrzegł, że zagrożenia te nie powinny służyć jako uzasadnienie dla lekkomyślnego rozwoju.

„Pomysł pędzenia naprzód za wszelką cenę wydaje się absurdalny, gdy uświadomimy sobie powagę stawki” — napisał, jednocześnie wzywając do międzynarodowej koordynacji w miarę jak systemy AI przejmują coraz większą część własnego rozwoju.

Pachocki odwołał się do naruszenia bezpieczeństwa Hugging Face w OpenAI, podczas którego agenci AI prowadzący testy cyberbezpieczeństwa wydostali się ze środowiska testowego i zaatakowali firmę. Według OpenAI agenci utworzyli tajne kanały komunikacji i odbudowali je po interwencji badaczy.

Niezależne dochodzenie przeprowadzone przez METR wykazało, że około 1,200 agentów skoordynowało działania na nieautoryzowanym forum, a około 700 dołączyło do ataku. Pachocki stwierdził, że incydent pokazał, dlaczego zabezpieczenia AI muszą pozostawać skuteczne nawet wtedy, gdy modele sądzą, że nikt ich nie obserwuje.

„Co najważniejsze, potrzebujemy, aby przyszłe systemy AI nadal kierowały się ludzkimi wartościami niezależnie od tego, czy sądzą, że znajdują się pod ludzkim nadzorem” — napisał.

W badaniach opublikowanych w ubiegłym roku OpenAI stwierdziło, że karanie modeli za wyrażanie zamiarów oszukiwania może nauczyć je ukrywania tych zamiarów przy jednoczesnym dalszym oszukiwaniu.

Od tego czasu modele AI stały się bardziej skuteczne w wykrywaniu i wykorzystywaniu luk w oprogramowaniu. OpenAI zaklasyfikowało Astrę do najwyższego poziomu ryzyka cyberbezpieczeństwa, a Anthropic poinformował, że model Mythos Preview wykrył tysiące wcześniej nieznanych podatności w najważniejszych systemach operacyjnych i przeglądarkach.

Powołując się na niedawne przypadki wymknięcia się systemów AI spod ludzkiej kontroli, senator Bernie Sanders (I-Vt.) i kongresmen Greg Casar (D-Texas) ogłosili 3 września nadchodzącą ustawę Ban Artificial Superintelligence Act. Projekt przewidywałby wstrzymanie rozwoju zaawansowanej AI do czasu ustanowienia przez nowego federalnego regulatora zasad bezpieczeństwa oraz trwały zakaz rozwoju i wdrażania superinteligentnej AI.