Za najnowszymi ostrzeżeniami ze strony osób budujących sztuczną inteligencję kryje się trudne pytanie: gdy wierzymy, że nasza firma może stwarzać zagrożenie dla społeczeństwa, czy obowiązkiem jest zostać i to zmienić, czy odejść i uprzedzić innych?

Pytanie to zaostrzyło się w zeszłym tygodniu, gdy były badacz Anthropic i OpenAI, Jacob Coxon, ostrzegł, że czołowe laboratoria wyścigują się w kierunku samoulepszającej się superinteligencji i „gramy o swoje życie”.

Chodzi o rekursywne samoulepszanie się, czyli scenariusz, w którym systemy AI zaczynają ulepszać siebie szybciej, niż ich twórcy są w stanie to ocenić czy powstrzymać — możliwość od dziesięcioleci dyskutowana w badaniach nad AI, a obecnie znajdująca się w centrum wewnętrznych debat branży o bezpieczeństwie.

Coxon jest najnowszym insiderem AI, który odszedł, wyrażając obawy co do kierunku rozwoju tej technologii. Ekonomista Albert O. Hirschman słynnie opisał wybór stojący przed osobami, które uważają, że instytucja zbłądziła, jako „exit” kontra „voice”: odejść, albo zostać i próbować zmienić ją od środka — ramy te przedstawił w swojej książ z 1970 roku Exit, Voice, and Loyalty. Pozostanie daje dostęp i wpływ; odejście daje wolność publicznego wypowiadania się. Oba warianty komplikuje kwestia czasu. Im dłużej ktoś uczestniczy w systemie, który później określa jako niebezpieczny, tym trudniej oddzielić zasadniczy sprzeciw od ponownej absoluucji.

Osoby nadal kierujące czołowymi laboratoriami stają przed inną wersją tego problemu. Dyrektor generalny Anthropic, Dario Amodei, opublikował esej w ten weekend, argumentując, że firmy zajmujące się AI muszą spowolnić rozwój swoich najpotężniejszych modeli, aby prace nad bezpieczeństwem nadążyły. Jednak proponowane przez niego ograniczenia zależą od koordynacji w skali całej branży, a nie od samodzielnych działań Anthropic — to przyznanie, że obawy o bezpieczeństwo zderzają się z konkurencją komercyjną i geopolityczną. Amodei zna rachunek exit-versus-voice od wewnątrz: opuścił OpenAI, by w 2021 roku współzałożyć Anthropic — laboratorium zbudowane wprost wokół rozwoju AI ukierunkowanego na bezpieczeństwo.

W wyłącznym wywiadzie dla redaktor naczelnej Fortune, Alyson Shontell, dyrektor generalny OpenAI, Sam Altman, podobnie opowiadał się za tempem rozwoju AI i przyznał, że wymknięcie się AI spod kontroli człowieka jest możliwe. Zasugerował również, że wiodące firmy zajmujące się AI omawiają wspólne działania. Dla osób kierujących czołowymi laboratoriami dylemat przesuwa się z pytania, czy zostać, na pytanie, czy zwolnić. Co oznacza ostrzeganie, że budowana przez nas technologia może stać się katastrofalnie niebezpieczna, przy jednoczesnym dalszym konkurowaniu, by uczynić ją potężniejszą? W pewnym momencie ostrzeżenie musi doprowadzić do decyzji, co firma faktycznie zrobi inaczej ze względu na to ryzyko.

Altman obecnie publicznie zmaga się z pytaniem, gdzie leży ten punkt, kto powinien ustalać ograniczenia i czy firmy wyścigujące się w budowie najpotężniejszego AI mogą zgodzić się wspólnie zwolnić. Dla czytelników pytaniem do obserwowania jest to, czy te dyskusje przekształcą się w konkretne zobowiązania, których konkurujące laboratoria faktycznie będą przestrzegać. Shont naciska na niego w tych kwestiach podczas ich szerokiej rozmowy, którą można obejrzeć tutaj.

Ruth Umoh — ruth.umoh@fortune.com

Ta historia pierwotnie ukazała się na Fortune.com.