隨著年度 Black Hat 大會在拉斯維加斯登場，目前由超過 120 個組織組成的開放安全 AI 聯盟（Open Secure AI Alliance）正在推進新的指南與開源技術，旨在強化代理式 AI 系統的網路安全。代理式 AI 系統是指能夠自主追求目標、選擇與使用工具，並與外部應用程式和資料互動的 AI 系統。

Linux 基金會已發布「共享 AI 發現交換」（Shared AI Findings Exchange，SAFE）的意見徵詢文件，這是一個擬議的框架，旨在將代理式網路安全事件轉化為供整個生態系共享的防禦情報。SAFE 指南由開放安全 AI 聯盟的一個工作小組制定，NVIDIA、Cisco、CrowdStrike、Hugging Face 與 Red Hat 是與 Linux 基金會合作貢獻初始提案的成員之一。此項努力將直接競爭對手——晶片製造商、雲端服務供應商、網路安全公司與 AI 平台公司——聚集在同一框架下，反映出在代理式 AI 部署從試點專案邁入生產環境之際，建立共同防禦實踐的迫切性。

根據 SAFE 指南，聯盟提議機密地收集和分析 AI 事件與未遂事件、通知受影響方、識別反覆出現的控制失敗，並發布以證據為基礎的營運建議，以降低系統性風險。

更廣泛的背景是挑戰不斷升級：每次重大的技術變革都會引入新的攻擊面，防禦者必須以聯盟所描述的「代理速度」運作，以保護基礎設施和智慧財產。在可信生態系中開放分享威脅情報被定位為集體防禦的力量倍增器。

聯盟成員擴展全端安全工具組

SAFE 框架補充了開放安全 AI 聯盟成員日益增加的技術貢獻，他們正在建構和分享開放、可檢查的工具，涵蓋完整的 AI 安全堆疊——從身分控制和框架到護欄、日誌和評估系統。對開源的強調反映了聯盟的核心前提：可由社群獨立檢查、稽核和改進的安全工具，更適合在能採取自主行動的系統中建立信任。

NVIDIA 的開源網路安全軟體與模型

NVIDIA 的貢獻涵蓋整個堆疊。NVIDIA Labs 物件導向代理（Object-Oriented Agent，NOOA）研究框架可在 GitHub 上取得，旨在使代理行為更易於測試、追蹤、稽核和治理。NVIDIA OpenShell 執行階段限制代理可存取和執行的內容，在代理層級強制執行安全和隱私控制。

NVIDIA 的開源模型系列——用於代理式 AI 的 Nemotron、用於物理 AI 的 Cosmos、用於機器人的 Isaac GR00T、用於醫療保健與生命科學的 BioNeMo，以及被描述為全球最大、獲商業使用授權的自動駕駛車輛模型 Alpamayo——均以開放權重、資料集和訓練技術發布。

NVIDIA 的開源已驗證代理技能將治理延伸至能力層。每個技能包含可攜式指令集——經過編目、掃描提示注入和工具投毒等風險、加密簽署，並以技能卡記錄文件——使防禦者能確切驗證技能的功能、來源，以及是否在發布後遭到修改。

NeMo Guardrails、NeMo Anonymizer 和 NeMo Safe Synthesizer 協助強制執行安全策略、保護敏感資料，並生成隱私安全的合成資料。Garak 是 NVIDIA 的開源 LLM 漏洞掃描器，讓安全團隊能在部署前測試模型是否存在資料外洩、提示注入和越獄情境。

身分與權限——誰有權行動

保障代理身分安全是更廣泛安全堆疊的基礎。

Okta 正在開發代理身分與存取的參考實作，展示 Cross App Access (XAA)——一種開放協定——如何使 OpenShell 沙箱環境中的 AI 代理安全地連接至企業應用程式。

Palo Alto Networks 貢獻了來自其次世代身分安全平台 Idira 的開源工具，包括 Agent Guard 和 Agent Watch。這些工具協助開發者套用身分安全最佳實踐和防護措施，例如為代理式工作流程安全地擷取密鑰。

由 Red Hat 發起的新開源專案 asago，將組織的自訂治理需求——參考 NIST、OWASP 和歐盟 AI 法案等框架——直接對應至執行階段的代理權限，維持從政策條款到即時控制的單一稽核軌跡。隨著全球監管機構收緊 AI 治理要求，將政策指令轉化為可強制執行的技術控制的工具，對於希望展示合規性的組織而言變得日益關鍵。

框架與工具——協調安全工作

AI 代理在開源和閉源模型、框架、工具及執行階段的生態系中運作。如果模型是代理的大腦，框架就是透過工具執行動作的主體，協調代理的部署、協作和約束方式。

Amazon 是開放安全 AI 聯盟最新成員之一，貢獻了 Strands Agents——一個用於建構 AI 代理的開源工具組，在每一層都保持開放，讓開發者能完全掌握代理行為，並能在生產環境中評估代理系統。Amazon 同時貢獻了 Cedar，這是一種開源授權語言，可對代理允許的行為強制執行確定性、可驗證的邊界。

Capital One 已開源 VulnHunter，用於代理式 AI 程式碼安全。Cloudflare 則提供其漏洞發現框架作為代理系統的開源技能。

Microsoft AI 紅隊已開源多種工具和框架。PyRIT——Python 風險識別工具組——能夠執行自動化紅隊測試，具備內建記憶功能，支援常見目標和自訂端點。RAMPART 與 Clarity 將紅隊發現和真實事件轉化為可重複執行的測試，並協助團隊在程式碼撰寫前質疑設計假設。Microsoft 也已開源 Assert，可將自然語言需求和預期的 AI 安全行為轉化為可執行的評估。

由 Wiz 開發的 Atlas 是一個自主漏洞研究引擎，能協調專業 AI 代理來發現和驗證程式碼及開源套件中的安全缺陷。

同樣已加入開放安全 AI 聯盟的 Visa，貢獻了其開源的 Visa Vulnerability Agentic Harness，協助團隊識別問題並支援修復和驗證。

模型——為 AI 安全與防禦而建的智慧

專門的安全與安全模型是為防禦任務而打造：經過訓練以理解程式碼、定位漏洞，並能大規模地推理威脅。它們可作為模型系統支援代理式工作流程，開源和閉源模型協同作業以高效完成任務。

Cisco DefenseClaw 是一個開源代理治理層，運作於 NVIDIA OpenShell 之上，在擴展代理工作群時提供自動化的執行階段安全。Cisco 還發布了兩個 Antares 安全小型語言模型，旨在精確定位程式碼庫中的已知漏洞，以及 Project CodeGuard，將安全預設實踐直接嵌入 AI 程式碼編寫工作流程。

CrowdStrike 正在對 NVIDIA Nemotron Nano 模型進行微調以用於網路防禦。內部測試在 Falcon LogScale 中生成調查查詢時達到 96% 的準確率，提供自然語言介面以提升代理調查效率。CrowdStrike 還發表了研究，展示專門的 NVIDIA Nemotron Nano 推理模型在安全營運中心偵測分類方面優於大得多的模型，同時引入經過校準的基於 logit 的信心度，實現可衡量、可調節且可稽核的自主安全決策。

除了偵測之外，防禦者還需要了解代理為何採取行動、系統是否安全運作，以及攻擊在現實世界中如何演進。Akamai 貢獻了來自其網際網路現狀報告和安全情報小組研究的洞察，藉由真實世界數據來闡明 AI 時代的威脅。

Cognition 發布了一項可信度評估，用於衡量源自開源模型的對齊性和安全風險，並證明這些風險可透過後續訓練來緩解。

由 Perplexity 開發的 Numbat 是適用於用戶端端點的開源代理安全套件。它能偵測、調查並防止跨 macOS、Linux 和 Windows 的代理活動，為防禦者提供代理行動的結構化記錄。

Uber 已開源 ADR（代理式 AI 偵測與回應）的關鍵元件，這是一個生產系統，能重建 AI 代理活動的完整因果鏈——從提示到推理、工具呼叫和結果。ADR 目前每天跨 30,000 個端點支援超過 200,000 個代理對話，採用兩層分析方法，結合高效偵測與針對高信心威脅的深入調查。

可用性與韌性——關鍵時刻的快速恢復

代理系統必須在中斷時保持可靠、控制故障範圍，並安全恢復而不遺失關鍵狀態或暴露更廣泛的環境。

LangChain 正在為其開源框架——Deep Agents、LangGraph 和 LangChain——增添韌性能力，使代理能重試中斷的工作、遵循安全恢復路徑、從已儲存狀態恢復而非從頭開始，以及在主要模型故障時自動切換至替代模型。

Veeam 協助組織透過 Kanister 等技術，保持 AI 相關資料和基礎設施的韌性與可恢復性。Kanister 是其適用於 Kubernetes 的開源資料保護框架，協助團隊保護和恢復 AI 工作負載、向量資料庫和資料至經驗證的已知良好狀態。

隨著聯盟持續成長，預期將有更多貢獻。當成員發布可重複使用的緩解措施時，整個生態系中的防禦者都能檢查、調適和改進它們，使安全實踐能隨 AI 的進展而演進。

開放安全 AI 聯盟成員預計於 8 月 4 日（週二）下午 5:15（太平洋時間）在 Black Hat 大會的 Mandalay Bay 會議中心主舞台商業大廳外拍攝團體照。有關聯盟的更多資訊可至開放安全 AI 聯盟頁面了解。