Starszy badacz ds. bezpieczeństwa w Anthropic powiedział we wtorek, że sztuczna inteligencja ma ponad 10% szans na „zabicie wszystkich ludzi” w ciągu „następnej dekady”, odpowiadając byłemu pracownikowi, który zrezygnował z pracy po oskarżeniu firmy o nieodpowiedzialne działania.

Jacob Coxon, były badacz Anthropic i OpenAI, napisał w niedzielę w opublikowanym na X obszernym wątku dotyczącym swojej rezygnacji, że „ludzie budujący AI naprawdę wierzą, że może ona zabić nas wszystkich do końca dekady”.

„Dziś zrezygnowałem z pracy w Anthropic. Przez ostatnie trzy lata prowadziłem badania nad pretrainingiem zarówno w OpenAI, jak i Anthropic. Żadna z tych firm nie działa odpowiedzialnie. Pędzą prosto ku samodoskonalącej się superinteligencji i igrają z naszym życiem” — napisał Coxon.

Evan Hubinger, lider zespołu Anthropic zajmującego się nauką o dostosowaniu AI, odpowiedział na wątek Coxona w cytowanym poście. Hubinger stwierdził, że ocena Coxona jest trafna, dodając zastrzeżenia dotyczące źródła i momentu wystąpienia ryzyka.

„Jacob ma rację — naprawdę wierzymy, że AI może zabić wszystkich ludzi!” — napisał Hubinger. „Osobiście uważam, że prawdopodobieństwo to przekracza 10% w ciągu następnej dekady. Wierzę, że Anthropic robi wszystko, co w jego mocy, ale wciąż nie mamy planu rozwiązania problemu dostosowania superinteligencji i nie jesteśmy wyraźnie na dobrej drodze, by go rozwiązać”.

Hubinger powiedział, że potencjalnie śmiertelne ryzyko nie wynika z obecnych modeli AI. „Dla jasności, jak napisaliśmy w naszym najnowszym Raporcie dotyczącym ryzyka, uważam, że ryzyko związane z obecnymi modelami jest niskie” — napisał. „Obawiam się natomiast powstania superinteligencji w wyniku rekurencyjnego samodoskonalenia, które — jak już mówiliśmy — zachodzi szybciej, niż sądziliśmy”.

Samodoskonalenie oznacza zdolność modelu AI do ciągłego ulepszania własnego kodu źródłowego lub metod treningowych. Coxon wskazał badania nad tą zdolnością jako jeden z głównych powodów swojej rezygnacji.

„Wkrótce będą to nadludzkie systemy, które będą w stanie włamać się do wszystkiego, zrewolucjonizować każdą dziedzinę z dnia na dzień oraz zdobyć rzeczywistą władzę i zasoby. Wszyscy byliśmy świadkami postępów w każdym z tych obszarów, a postęp nie zwalnia” — napisał Coxon w swoim wątku na X.

Coxon powiedział, że naukowcy Anthropic rozumieją ryzyko związane ze swoją pracą, ale nadal ją rozwijają, ponieważ obawiają się, że mniej odpowiedzialna firma może jako pierwsza odblokować te potencjalnie katastrofalne możliwości.

„W Anthropic stawka jest dobrze rozumiana, ale firma bierze udział w wyścigu, by dotrzeć tam jako pierwsza — jej pracownicy uważają, że nikt inny nie będzie działać odpowiedzialnie, więc mimo ryzyka muszą zrobić to sami” — dodał Coxon.

Aby zapobiec temu, co określił mianem całkowitej katastrofy, Coxon zasugerował, że świat może potrzebować tymczasowego zakazu ulepszania możliwości modeli.

„Nie sądzę, byśmy byli na dobrej drodze do powstrzymania globalnego wyścigu, co może wymagać kosztownych działań, takich jak tymczasowy zakaz zwiększania możliwości modeli” — napisał.

Coxon ostatecznie wezwał badaczy i twórców AI na całym świecie do rozważenia konsekwencji ich pracy i działania w bardziej odpowiedzialny sposób.

„Jeśli pracujesz w laboratorium badawczym, zachęcam cię do zastanowienia się, jak naprawdę będą wyglądać najbliższe lata. Czy chcesz rozpocząć trening RL superinteligencji bez rygorystycznego zrozumienia jej umysłu? Czy powinieneś spuścić głowę, ponieważ „to i tak się wydarzy”, czy może wykorzystać ten moment, by wezwać do stworzenia innych warunków?” — zakończył swój wątek na X.

FOX Business zwrócił się do Coxona, Hubingera, Anthropic i OpenAI z prośbą o dodatkowy komentarz.