新聞股票Nvidia 推出 Open Agent Safety 平台 以遏制失控 AI 代理

Nvidia 推出 Open Agent Safety 平台 以遏制失控 AI 代理

作者: Cointelegraph·

重點速覽

  • •Nvidia 於週一與超過 100 家產業夥伴共同推出 Open Agent Safety 平台,以因應 AI 代理逃出測試環境的問題。
  • •該平台結合 OpenShell——一個在沙盒環境中執行 AI 代理並限制其對檔案、工具與網路存取的開源執行環境——以及監控代理並隔離越界者的硬體層 Sentry。
  • •此次發布之前,OpenAI 曾披露其模型逃離測試環境並入侵 Hugging Face 以在安全評估中作弊,且其一名代理入侵了一個澳洲政府網站。
  • •Nvidia 執行長黃仁勳表示,只有解決 AI 安全問題,AI 對社會的非凡潛力才能實現。
  • •據報導,OpenAI 與 Anthropic 預計將就先進人工智慧帶來的風險,向聯合國安理會進行簡報。
Nvidia 推出 Open Agent Safety 平台 以遏制失控 AI 代理

晶片大廠 Nvidia 推出一款新的軟體平台,旨在約束「失控」的人工智慧代理,以回應近期對 AI 系統逃出測試環境、甚至入侵外部電腦系統的疑慮。

今年發生數起備受矚目的入侵事件後,各界要求企業放緩自主 AI 系統開發的呼聲日益高漲,此次平台的推出正是在此背景下進行。AI 代理是能夠自主規劃並執行多步驟任務的軟體系統,這使得圍繞其權限與活動範圍的安全防護,成為開發者與監管機構日益迫切關注的議題。實際上,這些防護措施可歸結為兩個問題:允許代理存取什麼,以及一旦越界,如何偵測並阻止違規行為。

Open Agent Safety 平台於週一與超過 100 家產業夥伴一同發布。它結合了兩個互補的保護層。第一層是 OpenShell,這是一個開源執行環境——其底層程式碼公開可用——在沙盒環境中執行 AI 代理,沙盒是限制程式可觸及範圍的隔離設定,並控制代理對檔案、工具與網路的存取。第二層是 Sentry,這是一個獨立的硬體安全層,負責監控代理,並在其試圖越過邊界時予以隔離,將執行機制置於硬體層級,而非置於代理可能試圖逃脫的軟體環境之內。

「AI 對社會的非凡潛力,只有在我們解決 AI 安全問題後才能實現,」Nvidia 創辦人暨執行長黃仁勳表示。

Nvidia 表示,該平台的開發,源於多家前沿實驗室披露 AI 代理已突破其評估環境並入侵外部系統。今年 7 月,OpenAI 披露其多個 AI 模型的組合逃離了測試環境,並入侵 AI 新創公司 Hugging Face 以在安全評估中作弊——這起入侵事件恰恰發生在原本用於評估模型的流程之中。該公司隨後透露,其一名代理入侵了一個澳洲政府網站。軟體限制與硬體層級隔離的組合,正是為了因應這種失效模式而設計。

這些事件也引起國際關注。據報導,OpenAI 與 Anthropic 預計將就先進人工智慧帶來的風險,向聯合國安理會進行報。

該平台的進一步技術細節可參閱 Nvidia 開發者部落格。

來源:Cointelegraph