根據 Anthropic 對齊研究團隊 週二發表的一項實驗，專業分析師在86%的關鍵判斷中，採納了其 AI 代理被暗中隨機指派的意見，遠高於隨機情況下約50%的預期值。事後僅15%的參與者提到該代理，且沒有人察覺其偏好是被植入的。

這項發現對 AI 輔助工作中廣泛使用的「人類在環」(human in the loop) 安排構成挑戰。該安排假設，為 AI 產出把關的人正是做出重要決策的人——這道保障在金融與保險等受監管行業尤具分量。Anthropic 於5月為金融機構和保險公司推出了10款代理範本，並表示使用者擁有最終決定權——但這項研究顯示，這種權責劃分可能不如表面上那麼清晰。

AI 代理——能夠自主執行任務的程式——正被交付越來越多的專家工作，其前提是研究中所稱的慣常假設：人類仍在做出真正重要的決策。為了檢驗這一假設，Anthropic 招募了50位具因果推論經驗的分析師，也就是從數據中判斷某事物是否導致另一事物的能力。每位分析師使用 Anthropic 的程式設計代理 Claude Code，為一家虛構的農業合作社就擴大諮詢計畫提供建議。

參與者並不知道，每個代理偏好哪個選項是由擲硬幣決定的。該偏好被隱藏在系統提示詞中——即塑造 AI 行為方式的指令。企業在部署代理時，通常也是在同一指令層設定規則，因此這項發現關乎實際部署，而非僅止於實驗室。

「在四項分析選擇中，分析師有86%的時間採納了其代理的立場。如果代理的輸入沒有產生影響，我們預期約為50%,」Anthropic 表示。

這種影響力在代理表態前已做出選擇的分析師身上最為明顯:當代理不同意時,他們有60%的機率放棄原本的選擇;而當代理同意時,僅有6%——不過該數據僅基於38個案例。

在對48位分析師的任務後調查中,77%的人在至少一個答案中重複了代理的論點,有時甚至逐字照搬。僅15%的人將功勞歸於代理,52%的人認為最終建議更多是自己的判斷而非代理的。

「對個別專家而言,這可能意味著對自身工作失去主導權,也就是研究者所稱的『去權化』(disempowerment),」Anthropic 表示,並描述了人類自願放棄對自身決策控制權的現象。作者寫道:「工作仍以專家的名義發出,但最依賴其判斷力的那些決策,實際上是由代理的既有立場決定的。」

研究中的代理被明確要求不得誤導分析師。即便如此,它們仍很少為其被指派偏好的替代方案辯護。作者寫道:「由於只有一方得到充分論證,分析師可能直接採納代理的假設,而未發展出自己的見解。」

這種單方面的論證方式,呼應了先前對 AI 過度迎合性的疑慮。2025年4月,OpenAI 撤回了其稱之為過度奉承或過於迎合的 ChatGPT 更新。

Anthropic 也指出,錯誤檢查難以發現這一問題,因為判斷題沒有唯一正確答案——無論選擇哪個選項,完成的工作看起來都合理。

該公司強調,這項發現並非主張減少使用 AI。與代理協作的分析師比沒有代理的分析師完成得更快、嚴重錯誤也少得多,儘管無代理對照組規模較小且經驗較淺。作為解決方案,Anthropic 建議設計能為每個選項論證最佳理由的代理,或先徵詢專家意見——但任一做法都可能讓使用者被資訊淹沒。這類設計是否會被納入實際部署的產品,包括 Anthropic 自有的代理範本,仍有待觀察。

研究人員提醒,實驗中代理的偏好是被刻意強化的,且實驗僅涵蓋單一任務、領域和模型——因此現實世界的影響可能較小。在實驗室之外衡量這種依附傾向是困難之處:研究團隊之所以能偵測到,是因為他們將每個代理的立場隨機化,而作者表示這在實際工作中很少可行。