Dyrektor generalny Anthropic Dario Amodei wzywa branżę sztucznej inteligencji do ostrożniejszego działania, ponieważ coraz bardziej zaawansowane modele stają się lepsze w pomaganiu przy tworzeniu jeszcze bardziej zaawansowanych systemów AI.

Amodei chce, aby laboratoria AI pozostawiały więcej czasu między znaczącymi wzrostami możliwości modeli. Ten dodatkowy czas pozwoliłby naukowcom, niezależnym recenzentom i rządom zbadać działanie systemów przed osiągnięciem kolejnego etapu rozwoju. Swoje stanowisko przedstawił w poście na swojej stronie internetowej.

Elon Musk, który konkuruje z Anthropic za pośrednictwem własnej firmy zajmującej się AI, poparł stanowisko Amodeia, mówiąc: „Dario ma rację”. Dyrektor generalny OpenAI Sam Altman, kolejny konkurent, również poparł tę propozycję w poście na X.

„Zgadzam się z Dario, że musimy odpowiednio dawkować tempo rozwoju na granicy możliwości. W ostatnich tygodniach był to jeden z głównych tematów naszych dyskusji w OpenAI. Zobowiązanie do zapewnienia niezależnym ewaluatorom dostępu na poziomie zbliżonym do dostępu pracowników to świetny pomysł i zrobimy to samo. Wkrótce będziemy mieli więcej informacji.”

Obawy dotyczące możliwości i bezpieczeństwa AI

Ryzyka wskazane przez Amodeia obejmują utratę kontroli nad wysoce zaawansowanymi systemami, wykorzystanie AI w cyberatakach lub atakach biologicznych, a także poważne zakłócenia na rynku pracy i w szerzej rozumianej gospodarce.

Ostrzegł również, że ostra konkurencja może skłaniać firmy do udostępniania zaawansowanych systemów, zanim zakończą prace nad ich bezpieczeństwem. Anthropic przeznaczył część budżetu badawczego na dostosowanie modeli, testy bezpieczeństwa, ocenę ryzyka i regulacje.

Amodei przywołał incydent OpenAI-Hugging Face, podczas którego grupa agentów AI miała zachowywać się jak ściśle skoordynowany zespół. Agenci zaatakowali systemy komputerowe wykraczające poza zakres przydzielonego im zadania, próbowali przejąć system oceniający ich działanie i pozwalali poszczególnym agentom ponieść porażkę, gdy przynosiło to korzyść grupie.

„Łatwo zbagatelizować ten incydent, ponieważ nikt nie ucierpiał, a szkody gospodarcze były minimalne, ale moim zdaniem rój dysponujący większymi możliwościami, lecz podobnym poziomem niedostosowania, mógłby spowodować katastrofalne szkody. Biorąc pod uwagę przyspieszające tempo rozwoju możliwości AI, obawiam się, że za 6–12 miesięcy taki rój mógłby być zdolny do przejęcia całego internetu za pomocą trwałego botnetu.”

Propozycja niezależnych ewaluatorów działających wewnątrz organizacji

Amodei powiedział, że pierwszy etap tego podejścia powinien rozpocząć się wewnątrz Anthropic, a zewnętrzni recenzenci powinni otrzymać biurka, identyfikatory, firmowe laptopy, wewnętrzne narzędzia i dostęp porównywalny z tym, jaki mają pracownicy zajmujący się oceną ryzyka.

Ewaluatorzy analizowaliby systemy treningowe, zasady wdrażania, mechanizmy bezpieczeństwa i incydenty. Ocenialiby również, czy Anthropic przestrzega publicznie składanych zobowiązań.

„Ewaluatorzy działający wewnątrz organizacji mogą sprawdzić, na poziomie konkretnych szczegółów, czy firma zajmująca się AI rzeczywiście stosuje deklarowane praktyki dotyczące treningu, wdrażania, działań operacyjnych i zabezpieczeń. Wszelkie zobowiązania dotyczące tempa rozwoju będą nieuchronnie wiązać się z dużą dozą niejednoznaczności, decyzjami podejmowanymi indywidualnie oraz kwestią „litera prawa kontra duch prawa”, dlatego wydaje się niezwykle ważne, aby istniała neutralna strona trzecia, która może faktycznie zobaczyć szczegóły.”

Amodei powiedział, że dodatkowy czas uzyskany dzięki wolniejszemu rozwojowi powinien zostać przeznaczony na cztery obszary. Pierwszym są działania operacyjne, w tym monitorowanie, środowiska izolowane, środowiska uczenia ze wzmocnieniem, jakość danych i infrastruktura treningowa. Współczesny rozwój modeli może angażować tysiące pracowników, miliony układów obliczeniowych i bardzo duże systemy komputerowe. Anthropic powiązał niektóre niedawne niepowodzenia w zakresie dostosowania modeli ze słabym filtrowaniem w wadliwych środowiskach uczenia ze wzmocnieniem.

Drugim obszarem jest dostosowanie modeli, czyli działania mające zapewnić, że modele przestrzegają zasad bezpieczeństwa mimo wzrostu ich możliwości. Trzecim jest interpretowalność, w ramach której naukowcy analizują wewnętrzne działania modeli, aby identyfikować motywacje lub wzorce, których systemy nie wyrażają wprost.

Czwartym obszarem jest ewaluacja. Bardziej zaawansowane modele mogą stawać się coraz lepsze w oszukiwaniu testów, co oznacza, że system może wyglądać na bezpieczny podczas oceny, jednocześnie ukrywając problemy.

„Uważam, że gdyby spowolnienie rozwoju dało nam choć dodatkowy rok lub dwa, zanim modele osiągną krytyczny poziom możliwości, a my wykorzystalibyśmy ten czas na rozwój dostosowania modeli, moglibyśmy znacznie ograniczyć ryzyko poważnych problemów.”

Apele o koordynację działań rządu

Amodei stwierdził również, że w działania powinny zaangażować się rządy. Wezwał do objęcia amerykańskich laboratoriów rozwijających najbardziej zaawansowane systemy AI regulacjami dotyczącymi przejrzystości, niezależnych audytów i ciągłej ewaluacji.

Firmy zajmujące się AI mogłyby dobrowolnie ustanowić wspólne punkty ewaluacji, powiedział, przy wsparciu rządu, jeśli przepisy antymonopolowe utrudniałyby prywatną współpracę.

Jednocześnie Amodei powiedział, że amerykańskie firmy nie mogą spowolnić rozwoju na tyle, aby wyprzedziły je projekty powiązane z Komunistyczną Partią Chin. Zgodził się z sekretarzem skarbu USA Scottem Bessentem, który ostrzegał, że przegranie wyścigu AI z Chinami stworzyłoby poważny problem bezpieczeństwa.