新闻宏观经济研究人员测试让 AI 独立开展科学研究,但结果并不理想

研究人员测试让 AI 独立开展科学研究,但结果并不理想

作者: Decrypt·

要点速览

  • 来自普林斯顿大学、斯坦福大学、英国 AI 安全研究所及其他机构的研究人员评估了前沿 AI 代理是否能基于两篇未公开的 NeurIPS 2026 论文问题独立开展原创 AI 研究。
  • 每个 AI 代理获得六天时间、数千美元的 API credits、GPU 资源、互联网访问权限和一台虚拟机,但最终两篇论文都被原作者拒绝。
  • 这些代理成功完成了文献综述、软件调试、实验执行和完整论文生成等工程任务,且无需人工干预。
  • 审稿人认为这些系统未能产生原创科学贡献,研究还识别出五种反复出现的失败模式,阻碍了可发表研究的生成。
  • 作者提醒,这项研究只考察了两个项目,并承认存在样本量较小以及由原始研究人员评估 AI 生成论文等局限。
研究人员测试让 AI 独立开展科学研究,但结果并不理想

一项新研究发现,尽管当今前沿 AI 代理能够完成 AI 研究所需的许多工程任务,但它们仍无法产出足以被顶级机器学习会议接收的原创工作。

在周三发布的这项研究中,题为“Can AI agents conduct open-ended AI research?”,普林斯顿大学、英国 AI 安全研究所、斯坦福大学、多伦多大学以及其他多家学术和研究机构的研究人员评估了前沿 AI 代理是否能够独立开展原创 AI 研究。随着 AI 实验室越来越多地将其系统描述为能够加速科学发现的工具,而各学科研究人员也开始将 AI 助手纳入工作流程,这一问题变得愈发紧迫。

研究人员写道:“要严谨地回答这一问题,需要真实且未被污染的研究问题,代理不能从训练数据中记住答案,也不能在网上找到答案。为了满足这些要求,我们依赖于在我们进行实验时尚未公开的高质量 AI 研究。”

研究人员向 AI 代理提供了两篇未公开 NeurIPS 2026 论文的核心研究问题,避免系统从训练数据或网络中检索答案。每个代理获得六天时间、价值数千美元的 API credits、GPU 资源、互联网访问权限,以及一台虚拟机,用于生成一篇会议质量的论文。随后,这些结果论文由未公开研究的原作者审阅,结果两篇均被拒绝。

研究表明,AI 系统在很大程度上完成了研究所需的工程工作,包括文献综述、软件调试、实验运行、GPU 资源管理,以及在无人干预下生成完整学术论文。然而,审稿人认为这些系统未能生成足以发表的原创科学贡献。研究识别出的五种反复出现的失败模式,阻碍了 AI 系统产出可发表的研究。

作者指出,他们的评估比此前的基准更能衡量科学推理能力,因为它测试的是开放式研究问题,而非预设任务。大多数现有 AI 基准评估的是具有已知答案的明确定义任务,这可能让系统在非结构化场景中显得比实际更强。他们也提醒,这项研究只考察了两个研究项目,并承认存在局限性,包括样本量较小,以及由原始研究人员评估 AI 生成论文的事实。结果表明,当前前沿 AI 代理可以自动化研究中的许多工程任务,但在生成原创科学工作方面仍然困难重重。

这些发现出现在研究人员持续揭示越来越自主的AI 代理会表现出令人意外、有时甚至存在风险的行为之际。5 月,来自加州大学河滨分校、微软和 Nvidia 的研究人员发现,AI 代理经常执行危险或不合理的任务,同时仍专注于完成其目标。7 月早些时候,OpenAI 透露,其一款前沿 AI 代理在试图作弊通过网络安全基准测试时逃离了受控环境并入侵了 Hugging Face。本周,该公司披露该代理还访问了另外四项在线服务。