新闻宏观经济开放安全AI联盟在Black Hat大会上发布SAFE网络安全指南及全栈开源工具

开放安全AI联盟在Black Hat大会上发布SAFE网络安全指南及全栈开源工具

作者: NVIDIA Blog·

要点速览

  • •Linux基金会已就SAFE框架开放征求意见,该框架提议保密收集和分析AI事件,为更广泛的生态系统生成循证运营建议。
  • •开放安全AI联盟已发展到超过120个成员组织,合作开发覆盖完整AI安全栈的开源安全工具,包括身份、框架、护栏和评估系统。
  • •NVIDIA贡献了多个开源项目,包括NOOA研究框架、用于智能体级安全控制的OpenShell运行时、带有加密签名的已验证智能体技能,以及Garak LLM漏洞扫描器。
  • •CrowdStrike报告称,使用微调的NVIDIA Nemotron Nano模型在Falcon LogScale中生成调查查询的准确率达到96%,并证明专门的推理模型在安全运营中心分诊方面优于更大的模型。
  • •Uber开源了其生产ADR系统的组件,该系统重建AI智能体活动的完整因果链,目前每天在30,000个端点上处理超过200,000个智能体会话。
开放安全AI联盟在Black Hat大会上发布SAFE网络安全指南及全栈开源工具

随着年度Black Hat大会在拉斯维加斯开幕,开放安全AI联盟——目前已有超过120个组织成员——正在推进新的指南和开源技术,旨在加强智能体AI系统(即能够自主追求目标、选择和使用工具、与外部应用程序和数据交互的AI系统)的网络安全。

Linux基金会发布了关于共享AI发现交换(SAFE)的征求意见稿,这是一个拟议框架,旨在将智能体网络安全事件转化为面向整个生态系统的共享防御情报。SAFE指南由开放安全AI联盟工作组制定,NVIDIA、Cisco、CrowdStrike、Hugging Face和Red Hat是与Linux基金会合作参与初始提案的成员之一。这一举措将直接竞争对手——芯片制造商、云服务提供商、网络安全公司和AI平台公司——聚集在一个共享框架下,反映了随着智能体AI部署从试点项目走向生产环境,建立通用防御实践的紧迫性。

根据SAFE指南,联盟提议保密收集和分析AI事件及未遂事件,通知受影响方,识别反复出现的控制失效问题,并发布旨在降低系统性风险的循证运营建议。

更广泛的背景是挑战不断升级:每一次重大技术变革都会引入新的攻击面,防御者必须以联盟所描述的"智能体速度"行动,以保护基础设施和知识产权。在可信生态系统中开放共享威胁情报被视为集体防御的力量倍增器。

联盟成员扩展全栈安全工具包

SAFE框架补充了开放安全AI联盟成员日益丰富的技术贡献,这些成员正在构建和共享覆盖完整AI安全栈的开源、可检查工具——从身份控制和框架到护栏、日志和评估系统。对开源的强调反映了联盟的核心前提:能够被社区独立检查、审计和改进的安全工具,更适合在对可采取自主行动的系统建立信任方面发挥作用。

NVIDIA的开源网络安全软件和模型

NVIDIA的贡献贯穿整个技术栈。NVIDIA Labs的面向对象智能体(NOOA)研究框架可在GitHub上获取,旨在使智能体行为更容易测试、追踪、审计和治理。NVIDIA OpenShell运行时限制智能体可访问和执行的内容,在智能体层面实施安全和隐私控制。

NVIDIA的开源模型系列——用于智能体AI的Nemotron、用于物理AI的Cosmos、用于机器人技术的Isaac GR00T、用于医疗保健和生命科学的BioNeMo,以及被描述为全球最大的商用授权自动驾驶模型的Alpamayo——均以开放权重、数据集和训练技术发布。

NVIDIA的开源已验证智能体技能将治理扩展到能力层。每个技能包含可移植的指令集,经过编目、扫描提示注入和工具投毒等风险、加密签名,并附带技能卡片——使防御者能够准确验证技能的功能、来源以及发布后是否被修改。

NeMo Guardrails、NeMo Anonymizer和NeMo Safe Synthesizer帮助实施安全策略、保护敏感数据并生成隐私安全的合成数据。Garak是NVIDIA的开源LLM漏洞扫描器,允许安全团队在部署前测试模型的数据泄露、提示注入和越狱场景。

身份与权限——谁有权行动

保障智能体身份安全是更广泛安全栈的基础。

Okta正在开发智能体身份和访问的参考实现,展示跨应用访问(XAA)这一开放协议如何使OpenShell沙箱环境中的AI智能体安全地连接到企业应用程序。

Palo Alto Networks贡献了来自其下一代身份安全平台Idira的开源工具,包括Agent Guard和Agent Watch。这些工具帮助开发者和智能体构建者应用身份安全最佳实践和防护措施,例如安全地检索智能体工作流的密钥。

由Red Hat发起的新开源项目asago,将组织的自定义治理要求——参考NIST、OWASP和欧盟AI法案等框架——直接映射到运行时智能体权限,维护从策略条款到实时控制的单一审计跟踪。随着全球监管机构收紧AI治理要求,将政策要求转化为可执行技术控制的工具对于寻求证明合规性的组织变得日益关键。

框架与工具——安全工作的编排

AI智能体在开源和闭源模型、框架、工具和运行时组成的生态系统中运作。如果模型充当智能体的大脑,那么框架就是通过工具执行行动的主体,编排智能体的部署、协调和约束方式。

Amazon是开放安全AI联盟的最新成员之一,贡献了Strands Agents——一个用于构建AI智能体的开源工具包,在每一层都是开放的,为开发者提供智能体行为的完全可见性以及在生产环境中评估智能体系统能力。Amazon还贡献了Cedar,一种开源授权语言,对智能体允许执行的操作实施确定性、可验证的边界。

Capital One已将其用于智能体AI代码安全的VulnHunter开源。Cloudflare将其漏洞发现框架作为开源技能提供给智能体系统。

Microsoft AI红队已开源多个工具和框架。PyRIT——Python风险识别工具包——支持内置记忆的自动化红队测试,支持常见目标和自定义端点。RAMPART和Clarity将红队发现和真实事件转化为可重复的测试,并帮助团队在编写代码之前质疑设计假设。Microsoft还开源了Assert,可将自然语言需求和预期的AI安全行为转化为可执行的评估。

由Wiz开发的Atlas是一个自主漏洞研究引擎,编排专门的AI智能体来发现和验证代码及开源包中的安全缺陷。

同样加入开放安全AI联盟的Visa,贡献了其开源的Visa漏洞智能体框架,帮助团队识别问题并支持修复和验证。

模型——为AI安全和防御构建的智能

专门的安全和防护模型为防御任务而构建:经过训练以理解代码、定位漏洞和大规模推理威胁。它们可以作为模型系统支持智能体工作流,开源和闭源模型协同工作。

Cisco DefenseClaw是一个开源智能体治理层,运行在NVIDIA OpenShell之上,在扩展智能体工作负载时提供自动化运行时安全。Cisco还发布了两个Antares安全小语言模型,旨在精确定位代码库中已知漏洞的位置,以及Project CodeGuard,将安全默认实践嵌入AI编码工作流。

CrowdStrike正在对NVIDIA Nemotron Nano模型进行网络安全防御微调。内部测试在Falcon LogScale中生成调查查询的准确率达到96%,提供自然语言界面以提升智能体调查效率。CrowdStrike还发表研究表明,专门的NVIDIA Nemotron Nano推理模型在安全运营中心检测分诊方面优于更大的模型,同时引入校准的基于logit的置信度,以实现可衡量、可调节和可审计的自主安全决策。

除了检测之外,防御者还需要了解智能体为何采取行动、系统是否安全运行以及攻击在现实世界中如何演变。Akamai贡献了来自其互联网现状报告和安全情报小组研究的洞察,利用真实数据揭示AI时代的威胁。

Cognition发布了一项可信度评估,衡量开源衍生模型的对齐和安全风险,并证明这些风险可以通过训练后阶段加以缓解。

由Perplexity开发的Numbat是一个面向客户端端点的开源智能体安全套件。它跨macOS、Linux和Windows检测、调查和阻止智能体活动,为防御者提供智能体行为的结构化记录。

Uber已开源ADR(智能体AI检测与响应)的关键组件,这是一个生产系统,可重建AI智能体活动的完整因果链——从提示到推理、工具调用和结果。ADR目前在30,000个端点上每天支持超过200,000个智能体会话,采用双层分析方法,将高效检测与对高置信度威胁的深入调查相结合。

可用性与弹性——关键时刻的快速恢复

智能体系统必须在中断时保持可靠、控制故障并安全恢复,同时不丢失关键状态或暴露更广泛的环境。

LangChain正在为其开源框架——Deep Agents、LangGraph和LangChain——添加弹性能力,使智能体能够重试中断的工作、遵循安全恢复路径、从保存的状态恢复(而非重新开始),并在主模型失败时自动回退到替代模型。

Veeam通过包括Kanister在内的技术帮助组织保持AI相关数据和基础设施的弹性和可恢复性。Kanister是其用于Kubernetes数据保护的开源框架,帮助团队保护和恢复AI工作负载、向量数据库和数据到经过验证的已知良好状态。

随着联盟继续发展,预计将有更多贡献。当成员发布可重用的缓解措施时,整个生态系统中的防御者可以检查、调整和改进它们,使安全实践能够随着AI的进步而发展。

开放安全AI联盟成员定于8月4日(周二)下午5:15(太平洋时间)在Black Hat大会上,于Mandalay Bay会议中心主舞台商务厅外合影留念。有关联盟的更多信息,请访问开放安全AI联盟页面。