新闻宏观经济特朗普淡化人工智能导致人类灭绝的风险,OpenAI和Anthropic研究人员发出危险警告

特朗普淡化人工智能导致人类灭绝的风险,OpenAI和Anthropic研究人员发出危险警告

作者: Coincentral·

要点速览

  • 特朗普表示,与人类灭绝的可能性相比,他对人工智能的主要关切是保持美国对中国的领先地位。
  • OpenAI和Anthropic的研究人员警告称,人工智能的快速发展可能超过安全准备的速度。
  • 人工智能安全研究人员尤其担心递归式自我改进,即系统无需人类协助便提升自身能力。
  • 两党提出的法案将监管先进人工智能的部署,或在联邦安全规则确立前暂时暂停开发。
特朗普淡化人工智能导致人类灭绝的风险,OpenAI和Anthropic研究人员发出危险警告

美国总统Donald Trump表示,他“完全不担心”人工智能导致人类灭绝,而OpenAI和Anthropic的研究人员则公开提出了对人工智能系统快速发展的严重担忧。

当被问及人工智能是否可能导致人类灭绝时,特朗普周四回答:“不,我没有任何担忧。”他说,自己的主要关切是确保美国赢得与中国之间的人工智能竞赛。

特朗普对记者表示:“我担心的是,如果我们不能赢得人工智能竞赛,我们将处于非常不利的境地。”他还说,他认为美国目前领先中国约一年。

就在特朗普发表上述言论之际,全球两家领先人工智能公司的员工和研究人员警告称,人工智能的发展速度可能过快,以至于安全措施无法及时跟上。这些相互竞争的优先事项,使人工智能发展的速度以及安全保障措施的范围成为争论核心。

研究人员对递归式自我改进表示担忧

Anthropic研究人员Jacob Coxon周二宣布,他将离开公司。Coxon表示,Anthropic和OpenAI正在“拿我们的生命冒险”,并称参与开发人工智能的人认为,人工智能可能“在这十年结束前杀死我们所有人”。两家公司的其他员工也表达了类似担忧。

人工智能安全研究人员的一个核心担忧是递归式自我改进,即RSI。该术语指的是一种情形:人工智能模型无需人类协助,便获得提升自身表现的能力。

OpenAI的对齐研究人员Jasmine Wang周三晚间发文称:“很难夸大加速迈向RSI有多么危险。”

OpenAI首席科学家Jakub Pachocki周六进一步表达了担忧。他表示,自己“强烈预期”人工智能的发展可能会进入递归式自我改进阶段。

Pachocki说:“我担心,没有人准备好应对机器智能持续快速增长所带来的后果。”

国会推动加强人工智能监管

两党议员都在寻求加强对先进人工智能系统的监管。7月,众议员Jay Obernolte和众议员Lori Trahan宣布计划提出FRONTIER Act,该法案将制定先进人工智能模型部署的相关规则。

Trahan周三在X上写道:“安全研究人员正在辞职,强大的人工智能模型正在脱离实验室,而各家公司仍在竞相推进。国会不能再袖手旁观,现在是时候履行自己的职责了。”

本月早些时候,参议员Bernie Sanders和众议员Greg Casar提出了《禁止人工超级智能法案》(Ban Artificial Superintelligence Act)。该法案将暂时暂停先进人工智能的开发,直到联邦政府制定安全规则。这些提案表明,政策争论既涉及先进模型应如何部署,也涉及在新的安全保障措施到位之前是否应继续开发。

特朗普尚未表示支持其中任何一项法案。他仍将重点放在让美国在全球人工智能竞争中领先中国上,这凸显出政府立场与人工智能安全研究人员所表达的担忧之间日益扩大的分歧。

来源:CoinCentral