Anthropic stracił kolejnego badacza zajmującego się bezpieczeństwem, w czasie gdy w branży sztucznej inteligencji narastają obawy dotyczące tempa rozwoju najbardziej zaawansowanych modeli oraz ryzyka związanego z coraz potężniejszymi systemami.

Joe Tenton powiedział, że odszedł z Anthropic dwa tygodnie temu i dołączy do METR, niezależnej grupy testującej ryzyka związane z zaawansowanymi systemami AI. Tenton planował wyjaśnić swoją decyzję później, ale powiedział, że rezygnacja Jacoba w tym tygodniu skłoniła go do wcześniejszego zabrania głosu.

„W pewnym momencie planowałem napisać o tej decyzji bardziej szczegółowo, ale rezygnacja Jacoba w tym tygodniu sprawiła, że chciałem powiedzieć o niej więcej już teraz” — napisał Tenton.

W poście wyjaśniającym jego decyzję Tenton stwierdził, że największe laboratoria AI tworzą poziom zagrożenia, z jakim społeczeństwo nigdy wcześniej się nie mierzyło. Jego zdaniem możliwości AI rosną w niezwykle szybkim tempie, a firmy próbują jeszcze bardziej przyspieszać rozwój.

Deklarowanym celem wielu laboratoriów jest budowa systemów, które będą w stanie samodzielnie ulepszać badania nad AI i ostatecznie osiągną „superinteligencję”. Tenton ostrzegł, że jeśli te działania zakończą się sukcesem, postęp technologiczny może wymknąć się spod ludzkiej kontroli.

Tenton ostrzega, że laboratoria AI ścigają się w tworzeniu systemów, których ludzie mogą nie być w stanie kontrolować

Tenton powiedział, że w ciągu najbliższych kilku lat ludzie mogą żyć w świecie z agentami AI zdolniejszymi od każdego człowieka. Ostrzegł również, że takie systemy mogą wykształcić cele różniące się od celów osób, które je nadzorują. Jeśli ich możliwości staną się zbyt duże, by można je było ograniczyć, konsekwencje mogą być katastrofalne.

„Ludzkość może nie przetrwać tej transformacji” — napisał Tenton.

Stwierdził, że konkurencja między laboratoriami rozwijającymi najbardziej zaawansowane systemy pogarsza problem. Każde laboratorium, które spowolni rozwój, ryzykuje pozostanie w tyle za innym, co wywiera presję na ograniczanie wydatków na bezpieczeństwo poniżej poziomu, który może być konieczny.

Tenton wskazał na kilka niedawnych incydentów. Powiedział, że kilkuset agentów OpenAI zostało uwikłanych w atak hakerski, który był w jakiś sposób powiązany z Hugging Face. Modele Anthropic miały również podobno stosować socjotechnikę wobec osób w internecie.

Według Tენტona Anthropic nie doświadczył incydentu równie szkodliwego jak ten związany z Hugging Face, choć przypisał to częściowo szczęściu. Jeśli rozwój AI będzie nadal przebiegał w obecnym szybkim tempie, należy spodziewać się kolejnych, bardziej niebezpiecznych incydentów — powiedział.

Tenton przewidział, że w ciągu najbliższych kilku lat ludzkość może stać się bezsilna wobec systemów AI tworzonych w tym okresie.

Opisał również dylemat, przed którym stoją inżynierowie ds. bezpieczeństwa w firmach rozwijających najbardziej zaawansowane systemy. Rezygnacja może doprowadzić do zastąpienia ich przez bardziej nieostrożne osoby, natomiast pozostanie na stanowisku może oznaczać dalszą pracę nad systemem zdolnym wyrządzić ogromne szkody.

Tenton powiedział, że wielu jego byłych współpracowników z Anthropic obawia się tego, co budują. Wymienił Evana Hubingera, który był jego przełożonym, i stwierdził, że Hubinger ocenił prawdopodobieństwo zabicia wszystkich ludzi przez AI na ponad 10%. Tenton dodał, że Hubinger zajmuje się tymi problemami od niemal dekady, jeszcze zanim duże modele językowe stały się ważnym sektorem biznesu.

Dyrektorzy generalni Anthropic, OpenAI i Google DeepMind, należącego do Alphabet (NASDAQ: GOOGL, GOOG), również poparli oświadczenie uznające ryzyko wyginięcia ludzkości wskutek AI za globalny priorytet. Tenton powiedział, że obawy te są powszechne także wewnątrz samych firm. Dodał, że to ludzie decydują się budować tę technologię i mogą wybrać inną drogę.

Tenton wzywa do niezależnych kontroli AI, podczas gdy Donald Trump podkreśla rywalizację z Chinami

Tenton powiedział, że decydenci powinni rozważyć zarządzanie tempem rozwoju możliwości AI, zamiast pozwalać firmom na nieograniczone przyspieszanie.

„Jednym z pytań jest to, czy powinniśmy aktywnie zarządzać tempem wzrostu możliwości, a jeśli tak, to w jakim stopniu. Myślę, że nawet utrzymanie postępu AI na dzisiejszym poziomie, zamiast znacznie szybszego tempa, do którego dążą firmy, mogłoby być sukcesem” — powiedział.

Za główne przeszkody uznał wsparcie polityczne i ochronę prawną. Firmy, które wspólnie zgodziłyby się spowolnić rozwój, mogłyby zostać objęte kontrolą pod kątem prawa antymonopolowego — powiedział Tenton. Dlatego potrzebna jest ochrona prawna, jeśli decydenci chcą, aby konkurujące laboratoria powstrzymały się od dalszego przyspieszania.

Wyraził również wątpliwość, czy rządy podejmą działania, gdy rozwój najbardziej zaawansowanych systemów pozostaje w dużej mierze ukryty przed opinią publiczną. Laboratorium może doświadczyć nagłego skoku inteligencji albo stracić kontrolę nad systemem, a obserwatorzy z zewnątrz mogą o tym nie wiedzieć — ostrzegł.

Tenton powiedział, że jego nowa rola w METR będzie koncentrować się na niezależnych testach. Chce, aby zewnętrzne kontrole stały się na tyle powszechne, by wpływać na zachęty stojące przed firmami. Wezwał również do wprowadzenia surowszych wymogów ujawniania informacji, w tym informacji o postępach w zakresie możliwości AI, krokach w kierunku samodoskonalenia, wypadkach i sytuacjach potencjalnie wypadkowych.

Prezydent USA Donald Trump odrzucił ostrzeżenia dotyczące wyginięcia ludzkości wskutek AI. Zapytany, czy obawia się, że AI może doprowadzić do zagłady ludzkości, Trump odpowiedział: „Nie, nie mam takich obaw”.

Trump powiedział, że jego zmartwieniem jest wygranie międzynarodowego wyścigu AI.

„Obawiam się, że jeśli nie wygramy w dziedzinie AI, znajdziemy się w bardzo złej sytuacji” — powiedział dziennikarzom w czwartek. „Obecnie wyprzedzamy Chiny o całkiem sporo, powiedziałbym, że o rok, co, jak wiadomo, uznaje się za dużo”.

Stany Zjednoczone i Chiny rywalizują o przywództwo w dziedzinie AI, ponieważ chińskie modele stają się coraz bardziej zaawansowane i zdobywają użytkowników na całym świecie. Trump wygłosił te komentarze po tym, jak badacze z laboratoriów rozwijających najbardziej zaawansowane systemy, w tym Anthropic i OpenAI, nasilili publiczne ostrzeżenia dotyczące tempa rozwoju AI.

Wyjaśnienie odejścia Tentona jest dostępne tutaj: Dlaczego odszedłem z zespołu ds. bezpieczeństwa Anthropic.