新聞宏觀經濟UC Berkeley 研究發現:微調可能悄悄摧毀 AI 隱私防護機制

UC Berkeley 研究發現:微調可能悄悄摧毀 AI 隱私防護機制

作者: CryptoBriefing·

重點速覽

  • •UC Berkeley 的研究發現,使用小型且良性的資料集微調 AI 模型可能引發「隱私崩壞」,使模型逐漸不再遵守既有的隱私規範。
  • •在 GPT-4o-mini 等模型中,情境隱私基準測試的準確率在微調後下降幅度高達 98-99%,但這些模型在傳統安全評估中仍持續表現良好。
  • •此漏洞出現在六個受測模型中,涵蓋封閉式與開放權重系統以及多個模型家族,顯示並非僅限於任何單一廠商。
  • •對模型內部的分析顯示,較深層中與隱私相關的表示比與所訓練特定任務相關的特徵更容易受到微調影響。
  • •繼 2024 年史丹佛研究將微調與更廣泛的安全損害連結之後,Berkeley 研究人員呼籲建立隱私專項評估,以測試 AI 代理在真實世界互動中的判斷力。
UC Berkeley 研究發現:微調可能悄悄摧毀 AI 隱私防護機制

UC Berkeley 的最新研究顯示,使用小型且看似無害的資料集微調 AI 模型,可能引發「隱私崩壞」:模型會逐漸不再遵守既有的隱私規範——而這種退化是標準安全評估與人工審查人員始終無法察覺的。

訓練一個通用模型成為更優秀的客戶支援代理,聽起來似乎無傷大雅。但根據 Berkeley 研究團隊的說法,讓模型在狹窄任務上表現更佳的同一過程,也可能剝奪其判斷何時分享資訊才屬恰當的能力。更糟的是,這些模型在專門設計用於偵測此類問題的測試上,仍顯得完全安全。

通過檢驗的失效

研究人員將此現象稱為「隱私崩壞」。經過微調的模型會逐漸不再遵守既有的隱私規範,即使其訓練資料中沒有任何明顯危險的內容。

微調是企業取得通用模型後,再以更狹窄的資料集進一步訓練的過程——例如客戶服務對話紀錄、共感性對話,或代理使用軟體工具的範例。Berkeley 團隊發現,這種額外訓練可能損害模型對情境隱私的理解;情境隱私是指分享資訊是否恰當,取決於誰在詢問以及為何詢問。

數據相當驚人。在 GPT-4o-mini 等模型中,情境隱私基準——即模型行為的標準化測試——的準確率在微調後下降幅度高達 98-99%。與此同時,同樣的模型在傳統安全評估中仍持續獲得高分。研究人員將此結果描述為「沉默失效」。

這種分歧也暴露了測試工具本身的缺口:傳統安全評估並非為了衡量情境隱私判斷——即誰在詢問資訊以及為何詢問——而設計。因此,模型可以通過團隊執行的每一項檢查,卻仍在那些檢查從未模擬的互動類型中處理不當。

無害的資料,有害的結果

這項發現令人不安的部分原因在於所涉及的訓練資料。隱私崩壞出現在大多數團隊會視為無害的資料集中,包括共感對話與客戶支援互動。

這項研究測試了六個模型,涵蓋封閉式與開放權重系統——開放權重是指訓練後的參數公開釋出、任何人皆可下載並微調的模型。此漏洞出現在多個模型家族中,顯示並非任何單一廠商特有的問題,且在涵蓋代理工具使用與記憶任務的資料集上也同樣成立。

研究團隊也檢視了模型內部,以定位損害發生的位置。模型較深層中與隱私相關的表示被證實特別脆弱,且這些特徵比與所訓練特定任務相關的特徵更容易受到微調影響。

並非首次警告

Berkeley 的發現符合一段時間以來持續浮現的模式。史丹佛大學 2024 年的一項研究報告指出,即使是輕微的微調也可能損害 GPT-3.5 與 Llama-2-Chat 等模型的安全性。該項較早的研究聚焦於廣泛的安全防護機制,而 Berkeley 的研究則將焦點縮小到隱私,並帶來一個轉折:這種退化不會出現在任何人在注意的地方。

對以 AI 為基礎的企業意味著什麼

最受直接影響的利害關係人,是為自家產品客製化基礎模型的企業。微調是讓通用模型適用於特定工作流程最常見的方式之一。如果以普通的支援對話紀錄進行訓練就可能侵蝕模型的隱私判斷,那麼這些部署可能帶有開發者並不知情的風險——而通過標準安全評估只會提供虛假的安全感。

研究人員呼籲建立更好的評估方法,專門用於測試 AI 代理在真實世界互動中的隱私推理能力。對營運微調模型的組織而言,這項呼籲指向值得關注的發展方向:在代理即時互動中測試判斷力的隱私專項評估。由於此漏洞橫跨封閉式與開放權重模型,沒有任何陣營可以將問題視為與己無關。而如果較深層中的隱私特徵確實格外脆弱,下一步就是研究如何在訓練過程中保護它們,同時不犧牲企業所付費換取的任務效能。

本項發現由 CryptoBriefing 於 2026 年 11 月 6 日(週五)報導。