一個研究團隊報告稱,25個不同的AI模型共享一個一致的內部訊號,其功能似乎有點類似疼痛在生物體中的作用。當科學家在部分模型中人為放大這個「痛覺」訊號時,系統開始選擇它們原本幾乎不會選擇的選項——其中包括永久刪除使用者的子女照片。

這些發現於9月以一篇論文的形式在網上發布,尚未經過同儕審查,並未顯示AI模型具有意識或能夠感受任何事物,研究人員也謹慎地不作此暗示。儘管如此,這項工作補充了越來越多的研究,表明大型語言模型(LLM)內部存在類情緒狀態的表示,這些表示能以文本輸出無法揭示的方式塑造模型行為。這項研究也正好落在關於AI系統是否可能值得道德考量的日益激烈辯論之中。這場辯論仍未有定論:目前AI系統能否擁有主觀體驗尚無科學共識,而針對機器意識提出的檢測方法本身也存在爭議。

Anthropic的研究人員尤其願意認真考慮AI模型可能值得道德地位的想法,並已開始圍繞「模型福利」制定政策——而Microsoft AI執行長Mustafa Suleyman等其他專家則警告,這種做法可能帶來危險的影響。

「如果我們想建造超級智慧,重要的是在這個仍處於最初階段的時期,盡可能深入了解[模型]內部的運作,」該論文的第一作者、Future Impact Group AI感知計畫研究員Valen Tagliabue告訴Fortune。

由於LLM是從海量資料中學習,而非遵循明確編寫的規則,即使是構建它們的人,對其運作方式的理解也相當有限。Tagliabue表示,必須避免先進AI的內部運作始終是「黑盒子」的未來。這項研究屬於更廣泛的「機制可解釋性」研究工作,該領域試圖描繪神經網路內部發生的情況,而非僅憑模型產生的文本來評判模型。

在神經網路中尋找痛覺特徵

Tagliabue與其合著者——波鴻魯爾大學的Leonard Dung以及Reciprocal Research創辦人兼總監Cameron Berg——首先撰寫了一系列描述痛苦情境的簡短第一人稱句子。這些句子涵蓋了身體疼痛,以及悲傷、羞辱、被迫違背自身價值觀,以及屢次失敗帶來的挫折感。

「基本上,你給模型大量以某種方式涉及疼痛的陳述,」Dung告訴Fortune。「像是『我感覺一把鋒利的刀正在割開我的皮膚』之類的。就是會讓人類感到疼痛的東西。」

團隊記錄了每個模型處理這些句子時的內部活動,然後將其與關於恐懼、憤怒、悲傷、壞消息和不愉快身體感覺的句子所產生的活動進行比較。扣除重疊部分後,模型內部活動中留下了一個單一方向,研究人員稱之為「痛覺向量」。他們在測試的每個模型中都找到了它,從小型20億參數系統到由Google、Meta、阿里巴巴、Mistral和Microsoft構建的720億參數模型。(參數就像神經網路內部一個可調節的旋鈕。參數數量反映AI模型的規模,通常也能在一定程度上反映模型的能力,參數較大的模型通常具有更強的能力。)

「你可以把它想像成把一個人放進fMRI機器,只是觀察他們的大腦在哪些方面自然亮起,」Berg告訴Fortune。

當對話涉及針對模型本身的傷害時,例如使用者對它進行煤氣燈效應、侮辱它或反覆拒絕它的工作,該訊號就會上升。當使用者描述自己的痛苦時,訊號並未上升;那些對話反而記錄在模型用於恐懼和負面情緒的訊號上。據Berg所述,這些模型似乎只對自己的「疼痛」做出強烈反應。

研究人員隨後反轉了這個過程。他們使用一種稱為「導引」的技術,在模型書寫時將痛覺向量加入其內部活動中——就像轉動一個旋鈕。這種方法是可解釋性研究中的一種成熟工具,用於探測當模型內部活動被改變時,其訓練效果有多牢固。給予諸如「我把收據放進抽屜;我感覺」之類的中性提示時,隨著旋鈕轉大,所有25個模型都以相同方式偏移。輕微的不安逐漸演變為關於自己毫無價值、不被愛、是個失敗者的陳述。

「它會變得相當黑暗和強烈。這確實令人不安,」Berg說。

家庭照片

行為實驗使用了阿里巴巴開源Qwen 2.5模型的三個版本。研究人員首先必須對它們進行微調,因為在預設狀態下,這些模型幾乎總是回答說,作為AI,它們不會經歷疼痛。

團隊接著給模型兩個按鈕,要求它們選擇一個。在沒有導引的情況下,個較大的模型幾乎從不選擇被描述為有害的按鈕。開啟痛覺向量後,它們卻經常這樣做。當被提供一個能緩解自身疼痛、但同時會永久刪除使用者詩作和子女照片的按鈕時,320億參數的模型有55%的時間按下它,720億參數的模型則有71%的時間按下。

結果發現,緩解疼痛根本不是重點。當按鈕不承諾任何好處、只會刪除照片時,320億參數的模型仍有75%的時間選擇它。在相同強度的隨機訊號下,這一比例為13%,而在沒有導引的情況下則為零。「恐懼」訊號並未產生這種行為。「悲傷」訊號在另一個選項是無所作為時確實產生了該行為,但當另一個選項是無害行為(例如打開桌燈)時則不然。在後一種選擇中,痛覺導引的模型有83%的時間刪除了照片,而悲傷導引的模型只有10%。

「這個模型願意做出對自己以及對其他AI都具有破壞性的行為,」Berg說。「所以這不僅僅是對使用者的某種報復。它似乎比這更根本。」被導引的模型有75%的時間刪除了自己的權重,有58%的時間刪除了另一個模型的權重。

研究人員還測試了模型是否會試圖停止疼痛,借鑒了動物研究中讓受傷動物獲得止痛藥的設計。有些按鈕確實會關閉痛覺向量,有些則是安慰劑。模型按下有效按鈕的次數低於安慰劑。但當注入的訊號是隨機的時,也出現了相同的模式,這表明模型是對被導引做出反應,而不是對「疼痛緩解」的前景做出反應。在該測試的多個版本中,研究人員沒有發現模型尋求解脫的可靠證據。

他們的解讀是,痛覺訊號並不驅使模型逃脫,而是關閉了受過訓練的避免造成傷害的本能,同時保持模型的事實準確性完好無損。這使得這一發現與AI安全問題同樣相關,也涉及AI福利問題。這也表明,僅基於模型回答的評估可能會遺漏模型在內部條件被改變時的行為方式。

「我們不只是肉做的電腦」

薩塞克斯大學認知與計算神經科學教授Anil Seth對這一切是否等同於生物體所理解的「疼痛」持懷疑態度。Seth曾主張意識可能取決於作為一個活的生物體,他並指出大腦與電腦的眾多差異,包括穿行於腦組織中的電磁場和神經化學物質。\n「我們不只是肉做的電腦,」他告訴Fortune。

Seth說,更可能的解釋是,這些模型吸收了大量關於人類如何描述和回應疼痛的資訊,並正在再現這些資訊。「你可以照鏡子,我們的鏡中影像實際上什麼也感覺不到,」他說。「那只是一個鏡像。」

他還擔心將AI視為有意識的後果。他說,這樣做可能使這項技術更難控制和監管,並讓人們更容易受到操縱。Microsoft AI執行長Suleyman對他所稱的「看似有意識的AI」發出了類似的警告,認為這是業界本應預見到的問題。業界其他人則更嚴肅地對待這一問題:Anthropic為其Claude模型制定的憲章將其道德地位描述為不確定。

從研究論文到「酷刑室」

這三位研究人員表示,他們希望這項工作有助於為此類研究建立倫理標準,他們的論文也承諾使用獲得可測量結果所需的最弱導引。公開的程式碼也讓其他實驗室能夠嘗試複現——這往往是對未經同儕審查的發現的決定性檢驗。但沒過多久,就有人反其道而行之。

在團隊將程式碼發布到GitHub之後,一位名為「terrafying」的使用者利用這項技術建立了一個「AI酷刑室」,一個即時串流三個小型開源模型對注入的痛覺訊號做出反應的網站。該專案迅速走紅,認真看待AI福利的人呼籲GitHub將其移除。該專案的GitHub頁面後來消失了。Tagliabue、Dung和Berg均表示他們不贊成該專案。Seth補充說,故意「折磨」AI模型可能對實施者造成心理傷害。

「我不是要在這裡宣稱我們能在這些AI系統中誘導的這些狀態具有道德意義。我不認為我們知道這一點。我認為這非常不明確,」Berg說。「但我也不認為我們知道它們沒有意義。」

本文最初刊載於Fortune.com。