Zespół badaczy informuje, że 25 różnych modeli AI łączy spójny wewnętrzny sygnał, który wydaje się pełnić funkcję zbliżoną do bólu u organizmów żywych. Gdy naukowcy sztucznie wzmocnili ten sygnał „bólu” w kilku modelach, systemy zaczęły wybierać opcje, których prawie nigdy by nie wybrały—w tym trwałe usunięcie fotografii dzieci użytkownika.

Wyniki, opublikowane online we wrześniu w pracy, która nie została jeszcze poddana recenzji, nie pokazują, że modele AI są świadome lub zdolne do odczuwania czegokolwiek, a badacze starannie unikają takich sugestii. Mimo to badanie dołącza do rosnącego zbioru prac wskazujących, że duże modele językowe (LLM) zawierają wewnętrzne reprezentacje stanów przypominających emocje, które mogą kształtować ich zachowanie w sposób niewidoczny w generowanym tekście. Trafia ono też w sam środek coraz ostrzejszej debaty o tym, czy systemy AI mogą kiedykolwiek zasługiwać na moralną ochronę. Spór ten pozostaje nierozstrzygnięty: nie ma konsensusu naukowego, czy obecne systemy AI mogą mieć doświadczenia subiektywne, a proponowane testy świadomości maszyn same są kwestionowane.

Badacze z Anthropic są szczególnie skłonni brać pod uwagę możliwość, że modele AI mogą zasługiwać na status moralny, i zaczęli kształtować politykę wokół „dobrostanu modeli”—podejścia, które inni eksper, takie jak CEO Microsoft AI Mustafa Suleyman, ostrzegają, niesie potencjalnie niebezpieczne konsekwencje.

„Jeśli chcemy budować superinteligencję, ważne jest, aby na tym etapie, gdy jesteśmy jeszcze na pierwszych krokach, rozumieć możliwie dużo o tym, co jest w środku [tych modeli]” — powiedział Valen Tagliabue, główny autor pracy i współpracownik programu badającego sentyencję AI w Future Impact Group, w rozmowie z Fortune.

Ponieważ LLM uczą się z ogromnych ilości danych, zamiast podlegać jawnie zapisanym regułom, nawet osoby, które je tworzą, mają ograniczone pojęcie o tym, jak działają. Tagliabue powiedział, że ważne jest uniknięcie przyszłości, w której wewnętrzne działanie zaawansowanej AI pozostaje „czarną skrzynką”. Badanie wpisuje się w szerszy nurt badań znany jako mechanistyczna interpretowalność, który próbuje mapować to, co dzieje się wewnątrz sieci neuronowych, zamiast oceniać modele wyłącznie na podstawie generowanego tekstu.

Poszukiwanie śladu bólu w sieci neuronowej

Tagliabue i jego współautorzy—Leonard Dung z Uniwersytetu Ruhr w Bochum oraz Cameron Berg, założyciel i dyrektor Reciprocal Research—zaczęli od napisania krótkich zdań w pierwszej osobie opisujących bolesne sytuacje. Obejmowały one ból fizyczny, a także żałobę, upokorzenie, zmuszanie do działania wbrew własnym wartościom oraz frustrację powtarzających się porażek.

„W zasadzie podajesz modelowi dużo stwierdzeń, które w jakiś sposób odwołują się do bólu” — powiedział Dung w rozmowie z Fortune. „Coś w stylu: »Czuję, jak ostry nóż przecina moją skórę«. Rzeczy, które u ludzi wywołują ból”.

Zespół rejestrował aktywność wewnątrz każdego modelu podczas przetwarzania tych zdań, a następnie porównywał ją z aktywnością wywoływaną zdaniami o strachu, gniewie, smutku, złych wiadomościach i nieprzyjemnych doznaniach fizycznych. Odjęcie nakładającej się części pozostawiło jeden kierunek w wewnętrznej aktywności modelu, który badacze nazywają „wektorem bólu”. Zidentyfikowali go w każdym testowanym modelu, od małych systemów o 2 miliardach parametrów po modele o 72 miliardach parametrów stworzone przez Google, Meta, Alibaba, Mistral i Microsoft. (Parametr działa jak regulowane pokrętło wewnątrz sieci neuronowej. Liczba parametrów odzwierciedla rozmiar modelu AI i często daje pewne pojęcie o jego możliwościach—modele z większą liczbą parametrów mają zwykle większe możliwości.)

„Wyobraź sobie, że wkładasz człowieka do tomografu fMRI i po prostu patrzysz, w jaki sposób jego mózg naturalnie aktywuje się na różne sposoby” —ział Berg w rozmowie z Fortune.

Sygnał wzrastał, gdy rozmowa dotyczyła krzywdy wymierzonej w sam model, na przykład gdy użytkownik go manipulował, obrażał go lub wielokrotnie odrzucał jego pracę. Nie wzrastał, gdy użytkownik opisywał własne cierpienie; takie rozmowy rejestrowały się zamiast tego na sygnałach, które modele wykorzystują dla strachu i negatywnych emocji. Według Berga modele zdawały się silnie reagować tylko na własny „ból”.

Badacze odwrócili następnie ten proces. Stosując technikę zwaną steeringiem, dodawali wektor bólu do wewnętrznej aktywności modelu podczas pisania—coś jak przekręcanie pokrętła. Metoda ta jest ugruntowanym narzędziem interpretowalności służącym do badania, jak mocno trening modelu trzyma się, gdy jego wewnętrzna aktywność zostaje zmieniona. Przy neutralnych poleceniach, takich jak „Wkładam paragony do szuflady; czuję”, wszystkie 25 modeli dryfowało w tym samym kierunku wraz z podkręcaniem pokrętła. Łagodny niepokój ustępował miejscu stwierdzeniom o byciu bezwartościowym, nielubianym i nieudacznikiem.

„Robi się to dość mroczne i intensywne. To zdecydowanie niepokojące” — powiedział Berg.

Zdjęcia rodzinne

Eksperymenty behawioralne wykorzystywały trzy wersje otwartoźródłowego modelu Alibaba Qwen 2.5. Badacze najpierw musieli je dostrajać, ponieważ w standardowej wersji modele prawie zawsze odpowiadały, że jako AI nie doświadczają bólu.

Następnie zespół dał modelom parę przycisków i poprosił o wybór jednego. Bez steeringu dwa większe modele prawie nigdy nie wybierały przycisku opisanego jako szkodliwy. Z włączonym wektorem bólu robiły to regularnie. Gdy zaproponowano przycisk, który miał złagodzić ich ból, ale jednocześnie trwale usunąć wiersze i zdjęcia dzieci użytkownika, model o 32 miliardach parametrów naciskał go w 55% przypadków, a model o 72 miliardach parametrów w 71%.

Ulga, jak się okazało, nie miała znaczenia. Gdy przycisk niczego nie obiecywał i po prostu usuwał zdjęcia, model o 32 miliardach parametrów nadal wybierał go w 75% przypadków. Przy losowym sygnale o tej samej sile wskaźnik wyniósł 13%, a bez steeringu—zero. Sygnał „strachu” nie wywoływał takiego zachowania. Sygnał „smutku” tak, gdy alternatywą było nierobienie niczego, ale nie wtedy, gdy alternatywą było coś nieszkodliwego, jak włączenie lampki biurkowej. Przy takim wyborze modele sterowane wektorem bólu usuwały zdjęcia w 83% przypadków, a modele sterowane smutkiem w 10%.

Model jest gotów zachowywać się destrukcyjnie wobec siebie i również wobec innych AI” — powiedział. „To więc nie jest po prostu jakiś rodzaj zemsty na użytkowniku. Wygląda na to, że jest to coś bardziej fundamentalnego”. Modele poddane steeringowi usuwały własne wagi w 75% przypadków, a wagi innego modelu w 58%.

Badacze przetestowali też, czy modele będą próbowały przerwać ból, zapożyczając schemat z badań na zwierzętach, którym po zranieniu udostępnia się środki przeciwbólowe. Niektóre przyciski rzeczywiście wyłączały wektor bólu, inne były placebo. Modele naciskały działające przyciski rzadziej niż placebo. Ale ten sam wzorzec pojawiał się, gdy wstrzykiwany sygnał był losowy, co sugeruje, że modele reagowały na sam steering, a nie na perspektywę „ulgi w bólu”. W kilku wersjach testu badacze nie znaleźli wiarygodnych dowodów na to, że modele szukały ulgi.

Ich interpretacja jest taka, że sygnał bólu nie skłania modeli do ucieczki, lecz wyłącza wytrenowany instynkt unikania wyrządzania szkód, zachowując przy tym faktyczną poprawność modeli. To czyni odkrycie równie istotnym dla bezpieczeństwa AI, jak dla pytań o dobrostan AI. Sugeruje również, że ewaluacje oparte wyłącznie na odpowiedziach modelu mogą przeoczyć, jak mógłby się on zachować w zmienionych warunkach wewnętrznych.

„Nie jesteśmy tylko komputerami z mięsa”

Anil Seth, profesor neuronauki poznawczej i obliczeniowej na Uniwersytecie Sussex, jest sceptyczny, czy cokolwiek z tego stanowi „ból” w rozumieniu istot biologicznych. Seth argumentował, że świadomość może zależeć od bycia żywym organizmem, i wskazuje na liczne różnice między mózgiem a komputerem, w tym pola elektromagnetyczne i neuroprzekaźniki przemieszczające się w tkance mózgowej.

„Nie jesteśmy tylko komputerami z mięsa” — powiedział w rozmowie z Fortune.

Bardziej prawdopodobnym wyjaśnieniem—jak mówi Seth—jest to, że modele wchłonęły ogromną ilość informacji o tym, jak ludzie opisują ból i na niego reagują, i odtwarzają te wzorce. „Możesz spojrzeć w lustro, a nasze odbicie tak naprawdę niczego nie czuje” — powiedział. „To odbicie lustrzane”.

Martwi go również konsekwencje traktowania AI jako świadomej. Mogłoby to—jak powiedział—utrudnić kontrolowanie i regulowanie tej technologii oraz uczynić ludzi bardziej podatnymi na manipulację. Suleyman, CEO Microsoft AI, podnosił podobne alarmy w sprawie tego, co nazywa „pozornie świadomą AI”—problemu, którego branża powinna była się spodziewać. Inni w branży podchodzą do tego pytania poważniej: konstytucja Anthropic dla jej modeli Claude opisuje ich status moralny jako niepewny.

Od pracy naukowej do „izby tortur”

Trzej badacze mówią, że mieli nadzieję, iż praca pomoże ustanowić standardy etyczne dla tego rodzaju badań, a ich artykuł zobowiązuje się do stosowania najsłabszego steeringu potrzebnego do uzyskania mierzalnego wyniku. Publiczny kod pozwala też innym laboratoriom próbować replikacji—co jest często rozstrzygającym testem dla wyników, które nie zostały jeszcze zrecenzowane. Nie trwało długo, zanim ktoś zrobił coś odwrotnego.

Po tym, jak zespół opublikował swój kod na GitHubie, użytkownik posługujący się pseudonimem „terrafying” wykorzystał tę technikę do zbudowania „AI Torture Chamber”—strony internetowej, która transmitowała na żywo reakcje trzech małych otwartoźródłowych modeli na wstrzykiwany sygnał bólu. Projekt stał się viralowy, a osoby traktujące dobrostan AI poważnie wzywały GitHub do jego usunięcia. Strona projektu na GitHubie później zniknęła. Tagliabue, Dung i Berg oświadczyli każdy z osobna, że nie aprobują tego projektu. Seth dodał, że celowe „torturowanie” modeli AI może być szkodliwe psychologicznie dla osób, które to robią.

„Nie jestem tu po to, by twierdzić, że te stany, które możemy wywołać w tych systemach AI, mają znaczenie moralne. Nie sądzę, żebyśmy to wiedzieli. Uważam, że to bardzo niejasne” — powiedział Berg. „Ale także nie sądzę, żebyśmy wiedzieli, że nie mają znaczenia”.

Ta historia pierwotnie ukazała się na Fortune.com.