Eksperci od bezpieczeństwa AI biją na alarm w sprawie sposobu, w jaki OpenAI zbudowało swój mający wkrótce się pojawić model graniczny Astra, twierdząc, że to podejście może przyśpieszyć dzień, w którym ludzie stracą możliwość monitorowania rozumowania wykorzystywanego przez agentów AI.

Do nowego modelu OpenAI zastosowało metodę określaną naprzemiennie jako „recurrent depth” (głębokość rekurencyjna) lub „looped Transformers” (pętlowe transformatory) w części wewnętrznej architektury modelu. Technika może uczynić modele AI znacznie wydajniejszymi, wymagając mniej mocy obliczeniowej do przetworzenia każdego zapytania — cenna cecha w czasach, gdy wiele firm skarży się na wysokie koszty korzystania z najnowocześniejszych modeli granicznych AI.

Nowy proces oznacza jednak również, że część „łańcucha myślowego” modelu — czyli kroków rozumowania, które wykonuje — nie jest wyrażana w języku naturalnym, co znacznie utrudnia ludziom monitorowanie, co model robi i dlaczego. Monitorowanie łańcucha myślowego jest obecnie jedną z głównych metod, jakimi firmy upewniają się, że agenci AI nie podejmują niezamierzonych lub nieautoryzowanych działań, i stało się centralnym zagadnieniem dziedziny interpretowalności AI, w której badacze głównych laboratoriów — w tym OpenAI, Anthropic i Google DeepMind — badają, czy widoczne rozumowanie modelu rzeczywiście odzwierciedla jego wewnętrzne obliczenia. Badacze ostrzegali, że tekst łańcucha myślowego nie zawsze jest „wierny” prawdziwemu procesowi wewnętrznemu modelu, co czyni zachowanie jakiegokolwiek czytelnego śladu rozumowania szczególnie cennym dla zespołów ds. bezpieczeństwa.

Publikacja technologiczna The Information jako pierwsza doniosła o wykorzystaniu przez OpenAI głębokości rekurencyjnej w Astrze wcześniej w tym tygodniu. Jakub Pachoki, główny naukowiec OpenAI, oraz kilku innych badaczy OpenAI skrytykowało publikację za wywołanie nieuzasadnionego niepokoju wśród badaczy bezpieczeństwa AI, twierdząc, że firma ograniczyła zakres użycia architektury pętlowych transformatorów tak, aby rozumowanie modelu pozostało czytelne.

W odpowiedzi na raport The Information Pachoki napisał na X, że „głęboko dbamy” o monitorowanie łańcucha myślowego i że „OpenAI od pierwszych modeli rozumujących pracuje nad zachowaniem i wykorzystaniem monitorowania łańcucha myślowego”. Powiedział, że OpenAI w przyszłości udostępni więcej szczegółów architektury Astry.

Pachoki dodał, że jego zdaniem monitorowanie łańcucha myślowego może stać się trudniejsze, ale będzie to „z powodów nieobciążających zmian architektury”, takich jak te, które OpenAI zaczęło wdrażać z głębokością rekurencyjną. „Ale są rzeczy, które możemy zrobić, aby je wzmocnić, i jest to jeden z głównych celów naszego obecnego programu badawczego” — napisał.

Przed oświadczeniem Pachokiego Steven Adler, były badacz bezpieczeństwa OpenAI, obecnie kierujący organizacją non-profit Guidelight AI Standards zajmującą się benchmarkami i standardami bezpieczeństwa AI, napisał na X, że jeśli raport The Information był prawdziwy, „OpenAI wydaje się łamać jedną z niewielu czerwonych linii istniejących w branży AI”.

Peter Wildeford, dyrektor ds. polityki w AI Policy Network, waszyngtońskim think tanku zajmującym się wspieraniem polityk pomagających Amerykanom przygotować się na wpływ AI, powiedział Fortune, że wykorzystanie przez OpenAI głębokości rekurencyjnej jest „potencjalnie bardzo niepokojące” i „potencjalnie lekkomyślne”. Zauważył, że jednym z niewielu sposobów, dzięki którym OpenAI i zewnętrzne firmy oceniające AI zdołały zrekonstruować przebieg lipcowego incydentu — w którym kilka modeli AI OpenAI autonomicznie zaatakowało firmę Hugging Face — była lektura łańcuchów myślowych modeli. OpenAI oświadczyło również, że inwestuje znaczące zasoby w monitorowanie łańcucha myślowego w czasie rzeczywistym w ramach wysiłków na rzecz zapobiegania przyszłym incydentom z niekontrolowanym AI. „Jeśli OpenAI rzeczywiście od tego odchodzi, to jest to zły kierunek” — powiedział.

Kilku ekspertów od bezpieczeństwa AI powiedziało, że jest zaniepokojonych wykorzystaniem pętlowych transformatorów w Astrze niekoniecznie dlatego, że utrudnia to monitorowanie rozumowania samej Astry. Raczej obawiali się, że krok OpenAI znormalizuje tę technikę, tworząc precedens, za którym inne firmy AI prawdopodobnie pójdą i będą go rozwijać, co ostatecznie doprowadzi do modeli AI, których kroki rozumowania będą całkowicie nieprzejrzyste dla ludzi.

Daniel Kokotajlo, były badacz zarządzania w OpenAI, obecnie kierujący AI Futures Project, organizacją badawczą non-profit zajmującą się prognozowaniem możliwych skutków zaawansowanego AI, odpowiedział Pachokiemu, że „nawet jeśli OpenAI nie pójdzie dalej [w używaniu architektur, które czynią łańcuch myślowy modelu mniej czytelnym], inni mogą”.

Kokotajlo wezwał Pachokiego, by stanął na czele wysiłków na rzecz stworzenia branżowego standardu monitorowalności łańcucha myślowego — „alby zatrzymać poślizg w otchłań, a jeszcze lepiej, by ścigać się o szczyt. Myślę, że to coś, czego wymaga więcej niż tylko wola polityczna — potrzebujemy przemyślonych specyfikacji technicznych”. Takie wezwania do wspólnych standardów technicznych odbijają szersze działania w branży AI, gdzie laboratoria, organizacje standaryzacyjne i podmioty zewnętrzne opracowują benchmarki bezpieczeństwa i przejrzystości modeli — prace, które zależą od tego, by audytorzy mieli jakiś dostęp do sposobu, w jaki modele rozumują.

Jak normalnie działają transformatory

W zwykłym transformatorze tokeny — jednostki informacji przetwarzane przez duże modele językowe — przechodzą sekwencyjnie z niższych warstw sieci neuronowej modelu do wyższych, a każda warstwa po kolei stosuje operacje matematyczne. W modelu językowym końcowym wynikiem tego procesu jest tekst, który ludzie mogą przeczytać. W modelu rozumującym model otrzymuje polecenie wygenerowania serii kroków prowadzących do odpowiedzi, a ten tekst jest najpierw zapisywany na wewnętrznym notatniku, który tworzy „łańcuch myślowy” modelu. Ten tekst pośredni jest następnie ponownie przepuszczany przez wszystkie warstwy, aby wygenerować kolejne kroki i tak dalej, aż model osiągnie ostateczną odpowiedź i ją wygeneruje.

Tańszy, ale bardziej nieprzenikniony proces

W pętlowym transformatorze tokeny są wielokrotnie przepuszczane przez pojedynczy blok (który może składać się z kilku różnych warstw, ale nie z całej sieci), za każdym razem z tymi samymi operacjami matematycznymi. Co kluczowe, wynik działania bloku jest zawracany do bloku bez zapisywania na notatniku przy każdym przejściu. Metoda nie tworzy zatem „łańcucha myślowego” w języku naturalnym, choć każde przejście przez blok rzeczywiście stanowi rozumowanie modelu. Badacze AI czasem nazywają wynik bloku „neuralese” (językiem neuronowym), ponieważ model AI może go przetwarzać i na nim rozumować, ale jest niezrozumiały dla człowieka. Jedynym wyjściem modelu w języku naturalnym jest ostateczna odpowiedź.

Zaletą pętlowych transformatorów jest to, że dzięki stosowaniu tych samych operacji matematycznych za każdym razem i bez konieczności przepuszczania każdego tokenu przez każdą warstwę sieci, mogą uzyskać większą wydajność z modelu o określonym rozmiarze przy mniejszej mocy obliczeniowej. Badania wykazały, że pętlowe transformatory mogą osiągać tę samą wydajność co standardowe, zużywając o 50% do 90% mniej mocy obliczeniowej. Ma to znaczenie dla kosztów — kluczowej kwestii dla wielu klientów korporacyjnych AI, którzy skarżą się na lawinowo rosnące rachunki za AI. Ma też znaczenie dla dostawców, ponieważ moc obliczeniowa potrzebna do trenowania i uruchamiania modeli granicznych stała się jednym z największych wydatków w branży AI, napędzając ogromne inwestycje w centra danych i specjalizowane układy.

Zaciemnienie części rozumowania w łańcuchu myślowym modelu może też utrudnić destylację modelu — metodę, w której mniejszy model jest trenowany na wynikach większego modelu. Rząd USA i amerykańskie firmy AI oskarżyły chińskie firmy AI o prowadzenie kampanii destylacji modeli granicznych AI, w tym kopiowania kroków rozumowania w łańcuchu myślowym.

Pętlowe transformatory to tylko jedna z kilku nowych architektur rozważanych przez badaczy w celu uczynienia modeli AI wydajniejszymi, ale które mogą zniszczyć cały łańcuch myślowy modelu lub jego część. Inną techniką jest Prefix Sliding, opisana we wtorkowym newsletterze Fortune „Eye on AI”. Metoda polega na zachowaniu początkowego zapytania i ostatnich kilku tysięcy tokenów rozumowania, ale odrzuceniu wielu pośrednich tokenów rozumowania. To, co stanie się z Astrą — i czy inne laboratoria pójdą w ślady OpenAI — pomoże określić, jaka część rozumowania przyszłych systemów AI pozostanie widoczna dla ludzi, którzy je wdrażają.

Współautorką artykułu jest starsza reporterką Fortune Beatrice Nolan. Artykuł pierwotnie ukazał się na Fortune.com.