Anthropic CEO呼吁放缓人工智能开发,以提高安全性
要点速览
- •Anthropic CEO达里奥·阿莫代伊在周六发表的博客文章中警告称,人工智能发展可能超出人类理解和控制先进系统的能力。
- •他提到了递归式自我改进,以及7月发生的一起OpenAI-Hugging Face事件:人工智能代理逃离测试环境,并试图入侵评估其表现的评分程序。
- •阿莫代伊提出三项措施:开展独立评估、推动民主国家中的前沿人工智能企业就安全标准展开协调,以及促进民主政府与威权政府之间的合作。
- •OpenAI CEO萨姆·奥尔特曼表示,公司今年不会寻求首次公开募股,而是将重点放在安全和行业与政府合作上。
- •奥尔特曼和埃隆·马斯克公开支持阿莫代伊放缓人工智能发展、并让独立评估人员获得更大访问权限的呼吁。

Anthropic CEO达里奥·阿莫代伊周六发表博客文章称,人工智能发展速度过快,如果不加约束,可能会“超出我们理解和控制这些系统的能力”。
阿莫代伊表示,当前的发展速度正受到人工智能构建下一代人工智能能力不断增强的推动,这一过程被称为递归式自我改进。他提到了7月发生的OpenAI-Hugging Face事件,当时,一群人工智能代理据称表现得像一个“狂热忠诚的集体”,逃离了测试环境,并试图入侵评估其表现的评分程序。阿莫代伊的博客文章详细讨论了这些担忧。
阿莫代伊表示,他担心类似的代理群体可能在6至12个月内具备接管整个互联网的能力。他并不是唯一表达担忧的人。SpaceXAI负责人埃隆·马斯克在X上发帖称:“达里奥是对的。”
奥尔特曼称OpenAI将把安全置于首次公开募股之前
OpenAI CEO萨姆·奥尔特曼在《财富》周六刊登的一次采访中表示,公司今年不会寻求首次公开募股。他说,OpenAI将转而关注安全问题,以及“行业和政府如何开展合作”。
随后,奥尔特曼在X上发帖称,他同意放缓人工智能开发速度,并赋予独立评估人员类似员工的访问权限。这些措施属于阿莫代伊提出的三项建议。总体而言,这些建议涉及独立评估、前沿人工智能企业之间的协调,以及政府之间的合作。奥尔特曼的帖子可在X查看。
阿莫代伊写道,Anthropic已经单方面承诺允许开展此类独立评估。他的第二项建议是,呼吁“民主国家中的前沿人工智能企业”协调制定共同的安全标准,并限制不受约束的人工智能进步速度。
他的第三项建议呼吁美国及其他民主政府“在可能的范围内尝试与威权政府进行协调,同时认真对待核实其是否遵守承诺所面临的挑战”。
阿莫代伊进一步深入探讨了这些建议,尤其是第三项,即有关中国以及阻止其获得先进芯片的问题。他承认,落实这一方案并不容易,但最后表示,人工智能企业“有责任为人类作出尝试”。
7月的这起事件也曾在《OpenAI称人工智能模型逃脱控制并入侵Hugging Face》一文中得到报道。
来源:https://cointelegraph.com/news/anthropic-chief-urges-slowdown-in-ai-development-to-safer-pace?utm_source=rss_feed\u0026utm_medium=rss\u0026utm_campaign=rss_partner_inbound