喬治華盛頓大學的物理學家發表了一個公式，可估算AI聊天機器人在產生不良回答之前會給出多少個良好回答——而早期測試顯示它確實有效。這項研究針對的是裝置端AI：完全在手機或筆電上運行、無需網路連線的模型，包括人們像朋友一樣交談的陪伴型聊天機器人。

這項由Neil Johnson和Frank Yingjie Huo進行的研究發表於期刊Patterns00175-3)，並建立在一份預印本——即在正式同儕審查前公開發布的版本——之上，該預印本於二月首次發布。

聊天機器人可以在很長一段時間內給出合理的回答，然後突然轉向有害內容，例如關於自殘的錯誤建議或極端主義言論，而在此之前一直沒有簡單的方法可以預測這種轉變何時發生。作者指出，現有的安全工具通常依賴離線模型所缺乏的雲端連線：離線運行的模型沒有雲端服務檢查其輸出，而彌補這一缺口正是這項研究的核心目標。

Johnson和Huo將問題追溯到注意力頭，即AI模型中決定在選擇下一個詞時對話中先前哪些詞最為重要的部分。隨著對話增長，累積的上下文會將注意力拉向某一組可能的答案或另一組，直到傾斜為止。

兩位作者將此描述為許多越獄攻擊者利用的常見模式，也是許多公司高度重視系統提示詞（AI聊天機器人在任何查詢之前讀取的文字片段的原因之一。即便如此，沒有人能準確說出需要多少力道才能有效削弱一個模型。

他們的公式估算臨界點（稱為n），即模型在第一個不良詞元出現之前產生的良好詞元數量——詞元是模型一次產生一個的詞語片段。如果對話已經偏向不良一方，模型會立即傾斜，n為零。如果偏向良好一方，模型會給出一連串正常的回答，然後翻轉。

在預印本中，該公式在16個明確測試中正確選出15個案例——立即或延遲——準確率為94%。研究人員在來自OpenAI、EleutherAI和Meta的六個開放權重模型上進行了這些測試；開放權重模型是指檔案公開、任何人都可以下載並運行的AI系統。這六個模型的參數量都在1.24億到4.1億之間，參數是模型內部可調整的數值，可作為模型規模的粗略衡量標準。據報導，已發表的論文將測試擴大到七個參數量最高達120億的模型，以目前的標準來看這仍然很小。由於任何人都可以在自己的硬體上運行開放權重檔案，這些系統最有可能在沒有供應商安全檢查的情況下運行——即使是擴大後的測試，當今最大的商業聊天機器人也仍在該公式的測試範圍之外。

這種對離線的關注反映了一種趨勢，隨著硬體變得更加強大、更小的AI模型變得更有能力，這一趨勢可能會隨時間增長。Google的實驗性AI Edge Gallery應用程式——Decrypt去年測試過——已經可以讓Android手機離線運行模型，且輸入的內容不會傳送到Google的伺服器。這種設置——長時間持續的對話、沒有外部檢查機制介入——正是該公式所針對的環境。

為了彌補這一缺口，作者提出一種與模型並行運行的低成本監控器，當n*低於安全閾值時發出警告——功能有點像汽車儀表板上的警示燈。由於它與模型本身並行運行，這種監控器將完全在裝置端運作，無需呼叫外部服務。

他們還描述了將臨界點推到不可及範圍的方法，例如在對話中注入內容，使n*落在回應長度之外。作者表示，對齊訓練——即教導模型規範行為的過程——可以針對特定提示詞轉移或抑制傾斜，但無法消除背後機制。

2025年4月，Decrypt報導了同一對作者的另一篇較早的論文，顯示「請」和「謝謝」對模型輸出的影響微乎其微，因為模型在數學上將禮貌用語視為正交——即與請求的實質內容無關。那個版本模擬的是單一、刻意簡化的注意力頭。

預印本的測試使用了小型模型和300個詞元的視窗——大約幾個短段落的文字——其預測可能有最多一個輸出的偏差。