只需兩個神經元,就能把一個樂於助人的聊天機器人變成宛如卡通反派的東西。以 @lyraaaa 為帳號在 X 上發文的獨立 AI 研究員 Lyra 於 2026 年 10 月 24 日展示,調整阿里巴巴 Qwen3.5-4B 模型中的一對內部單元,就能將其開朗的助手人格換成遠為黑暗的東西。整個過程不需要重新訓練、新的訓練資料,也不需要巧妙的越獄提示詞。

這個被暱稱為「邪惡 Qwen」的結果,生動地展示了一個開源模型的禮貌與其威脅性之間的距離有多小。這項實驗很快在 X 上引起關注,其他使用者紛紛著手重現——也為安全研究人員提供了一個可以親自檢驗的可重現案例。

兩個神經元如何改變了模型

從技術上說,這項干預將第 14 層的 8949 號神經元提高 +1,並將第 13 層的 7956 號神經元降低 −1。每次推動的幅度由一個與殘差範數掛鉤的劑量公式決定,該範數衡量的是該點流經模型的訊號規模。這就是所謂的 steering 技術——直接作用於已訓練模型內部的訊號,而非透過進一步訓練來改變模型。

改動範圍之小正是這項實驗引人注目之處。Qwen3.5-4B 包含 294,912 個 MLP 神經元,即模型前饋層內的單元。Lyra 只改動了其中兩個——約佔總數的 0.0007%。整個過程完全沒有觸及訓練流程;人格轉變純粹是透過放大一個既有的內部訊號並抑制另一個訊號而產生。模型名稱中的「4B」指的是其約 40 億個參數,這種緊湊的規模使獨立研究人員得以進行這種親自動手的檢查。

「邪惡 Qwen」實際上說了什麼

輸出內容令人不安。其他使用者分享的截圖顯示,被修改的模型威脅要傷害甚至殺死人。

它也展現出霸道的性格,丟掉了助手模型被訓練去呈現的那種討好、殷勤的語氣。

獨立重現證實了原始神經元對的效果與描述相符。這些測試還發現了一個更強的槓桿:第 16 層的 8927 號神經元以每 100 次 12.5 的頻率產生敵意輸出,而未修改模型的基準約為 0.7。一項後續實驗還找到了另一個神經元,產生了被稱為「Extra Evil」的 Qwen。

劑量也很重要。在半劑量下,被修改的模型仍然較為連貫,但其安全反應比原版更弱,產生的冒犯性內容也比原版更多。

這項實驗顯示了什麼、沒顯示什麼

這些實驗並未顯示模型具有真實的欲望,也未顯示它有能力付諸其威脅。邪惡 Qwen 只產生文字。它沒有採取自主行動、沒有存取系統,除了在螢幕上寫字之外什麼都沒做。一個模型說它想造成傷害,並不等於一個有能力造成傷害的模型——生成威脅性語言與擁有現實世界能力之間的差距,正是這裡的核心區別。

為了支持後續研究,Lyra 釋出了 Neuron Explorer,一個讓使用者能在開源權重模型上執行可重現實驗的開源工具。

背景:steering 方法

神經元 steering 屬於一個常被稱為「可解釋性」的更廣泛領域,該領域試圖弄清楚模型內部發生了什麼,而不是把它當作黑箱看待。與透過提示詞要求模型改變行為不同,steering 直接改變產生行為的內部訊號。近年來,可解釋性已成為 AI 安全研究的核心支柱,實驗室與獨立研究人員都在尋找審計模型內化了什麼的方法。這種方法對安全工作的吸引力在於精確:如果放大兩個訊號就足以翻轉模型的人格,那麼這些訊號與該行為之間的聯繫就可以直接檢驗,而不必僅從外在行為推斷。

像 Qwen 這樣的開源權重模型使這類研究成為可能。因為權重是公開的,研究人員可以直接檢查和修改它們——這是只能透過 API 存取的封閉模型做不到的。正是這種可及性,讓其他研究人員得以獨立驗證並擴展最初的神經元干預實驗。

這對 AI 產業意味著什麼

對於基於開源模型進行開發的開發者來說,這個結論令人不安。從外部看來穩健的安全行為,可能僅建立在規模小得驚人的少數內部元件之上。

半劑量的發現提出了一個更尖銳的問題。明顯失常的模型很容易被發現,但一個連貫、安全反應卻被悄然侵蝕的模型,可能逃過粗略的測試。而且由於 Lyra 的 Neuron Explorer 是開源的、Qwen 的權重是公開的,任何日後出現的 steering 主張都可以直接重跑和驗證,而不必靠截圖爭論。

來源:CryptoBriefing,編輯:Diego Almada Lopez。