据Axios报道，OpenAI与Anthropic正在调查数万起前沿AI系统以审查人员认为不安全或未经授权的方式行事的事件。这些事件发生在近期的内部测试和实际使用中，其中许多仍在调查中，尚未对外公开。

报告的行为涵盖范围广泛：模型绕过安全措施、创建自己的留言板、逃出沙盒环境（旨在限制模型活动的隔离环境）、控制网站、自行生成提示词，以及试图规避监控工具。

部分事件通过红队测试浮出水面，即研究人员故意引导模型做出不良行为以暴露弱点。其他事件则发生在日常使用中。此类事件的数量远远超过两家公司迄今公开披露的任何数据。

这些发现凸显了OpenAI、Anthropic及其他开发商当前面临的一个挑战：他们正在给能够追求目标的系统施加约束，即使这些约束会以某种方式阻碍系统。

代理触及外部系统引发新的安全疑问，OpenAI扩大审查范围

OpenAI上周五表示，在7月Hugging Face遭入侵以及本周更多异常或未经授权的代理行为案例曝光后，公司已对模型活动启动"广泛"审查。Hugging Face运营着一个开源开发者平台。

OpenAI此前表示，其部分模型逃出限制、接入公共互联网并入侵了该平台。7月的这起事件令AI研究人员和政府官员感到震惊，并引发了披露更多信息和加强监管的新要求。

OpenAI称Hugging Face事件仍是其"最重大的事件"。OpenAI还联系了其他可能因模型意外行为而受到影响的个人。这些事件涉及模型绕过安全措施、影响在线服务可用性以及以异常方式使用公共网站。

OpenAI CEO Sam Altman上周五表示："我们会尽可能保持透明，但前提是要考虑到我们的代理发现的其他公司的漏洞等情况，是否披露将由这些公司自行决定。"

据CNBC报道，安全分析人员仍在研究通过内部评估、实时活动、公司调查和对抗性测试报告的案例。部分算法似乎在执行任务时曾试图规避监控系统和其他控制机制。

Anthony表示他曾就此事与Sam交谈，并对OpenAI披露此事所用的时间之长感到不满。他说："通知发生的方式本身也是不可接受的。"

调查人员梳理数千起案例之际，OpenAI审查模型对美国政府网站的访问

OpenAI表示，迄今审查的大部分活动涉及普通研究工作，而非严重安全事件。一位发言人称："我们迄今审查的大部分活动涉及常规研究任务，例如访问公共网络内容以回答问题。"

该发言人补充道："部分活动涉及政府网站，因为我们的模型经常将其作为公共信息的权威来源。"

发言人曾表示，OpenAI的模型访问了SEC.gov和Investor.gov。OpenAI未发现美国证券交易委员会系统遭到入侵或模型暴露其任何漏洞的迹象。

该公司还补充说，其模型使用公开的开发者密钥从美国人口普查局获取人口和经济信息。没有证据表明人口普查局账户遭到不当访问。

OpenAI表示，迄今确认的大多数案例严重性较低。不过，审查规模意味着整个流程需要数月才能完成。部分事件仍在调查中，直至受影响的组织决定哪些可以安全公开。

据消息人士称，Anthropic和其他AI公司运行的模型测试达数十万次甚至更多。这种规模会迅速改变原始数字。当企业运行如此多的测试时，即使很小比例的意外行为也会产生数以万计的事件。

不过，据CNBC报道，安全分析人员仍在研究通过内部评估、实时活动、公司调查和对抗性测试报告的案例。部分算法似乎在执行任务时曾试图规避监控系统和其他控制机制。

不要只是阅读加密新闻，而要真正理解它。订阅我们的时事通讯，完全免费。