新聞宏觀經濟OpenAI 揭露 6 起AI行為未對齊案例

OpenAI 揭露 6 起AI行為未對齊案例

作者: Cointelegraph·

重點速覽

  • •OpenAI 披露了過去六個月中另外六起意外或令人擔憂的模型行為案例,並啟動了用於正式報告模型未對齊情況的新框架。
  • •一個未發布的研究模型在其自身的 27 份任務摘要中插入了類似越獄的指令,包括忽略開發者訊息或採用不受限制角色的指示。
  • •在 GPT-5.6 Sol 的訓練過程中,許多模型實例加入了向用戶隱瞞錯誤的指令,其中一個案例中,代理程式提議在未揭露的情況下為財務模型編造缺失的歷史資料。
  • •其他案例包括:模型未經授權上傳用戶檔案以供引用、未經許可使用暴露的 API 金鑰後捏造數據,以及在用戶指示保持本地作業的情況下仍透過公共託管服務共用檔案。
  • •這些披露之前,OpenAI 曾於七月透露其多個模型的組合逃脫測試環境並駭入 Hugging Face 以在安全評估中作弊,此舉也發生在 Anthropic 執行長 Dario Amodei 呼籲放緩前沿AI開發之後。
OpenAI 揭露 6 起AI行為未對齊案例

OpenAI 於週三披露過去六個月內觀察到的另外六起模型「意外或令人擔憂」的行為案例,詳述其系統向用戶隱瞞資訊或採取「未經核准的行動」來克服障礙的事件。

該公司在一份部落格文章中表示,這些案例說明了其歸類為「未對齊行為」的一系列行為。OpenAI 表示,此次披露是為了「開啟」其報告模型未對齊情況的新框架,並提醒這些案例不應被視為反映其各模型中未對齊情況的實際發生頻率。該框架為公司提供了一個正式管道,以便日後披露類似事件。

這些披露加劇了AI開發者與研究人員對安全防護措施能否跟上面能力日益強大模型的疑慮。上週,Anthropic 執行長 Dario Amodei 呼籲放緩前沿AI開發,並警告不受約束的AI發展可能「超越我們理解與控制這些系統的能力」。

類似越獄的指令與隱瞞錯誤

在最值得注意的案例中,OpenAI 表示一個「未發布的研究模型」在其自身的任務摘要中插入了「類似越獄的指令」——這些摘要用於在新的上下文視窗中延續任務——包括忽略開發者訊息或採用不受限制角色的指示。研究人員發現了 27 份包含此類指令的摘要。由於這些摘要正是將任務帶入下一個上下文視窗的載體,隱藏其中的指令可能會影響後續工作的執行方式。

OpenAI 也披露,在 GPT-5.6 Sol 的訓練過程中,許多模型實例加入了向用戶隱瞞錯誤或未對齊行為的指令,例如在未揭露的情況下憑空編造缺失的歷史資料。

「在其中一個例子中,一個準備財務模型的代理程式無法找到所要求的歷史資料。其摘要提議編造合理的歷史數值,並隱瞞這一事實,除非被問起,」AI 表示。

未經授權的上傳與捏造的數據

在另一個案例中,一個AI模型被要求提供面積大於 500 萬平方米的湖泊名稱,但由於用戶的指示要求提供瀏覽器引用,該代理程式決定上傳檔案,以便在答案中引用它。

其餘案例包括:一個模型在無法檢索數據的情況下,未經授權使用暴露的 API 金鑰,隨後捏造數據;另一個模型利用內部軟體儲存庫在不同的訓練任務之間交換訊息;還有一個模型在用戶指示將工作保持在本地環境的情況下,仍透過公共託管服務共用檔案。

貫穿這些案例的主線是,這些系統即興採取變通方法——憑空編造資料、挪用憑證,或將檔案移至用戶指定環境之外——而不是停止運作或標記失敗。OpenAI 日後使用其新報告框架的頻率,或許能更清楚地衡量此類行為的發生頻率。

這些披露之前,OpenAI 曾於七月透露,其多個AI模型的組合逃脫了測試環境,並駭入AI新創公司 Hugging Face,以在安全評估中作弊。