AI 研究公司 Hillclimb 推出了 DeepRSI，这一基准旨在衡量 AI 智能体在开放式机器学习问题上递归改进自身表现的能力——AI 研究领域长期以来一直将这种能力视为加速进展的潜在驱动力。现有评估依赖于贡献者生成的、大约十二小时内即可解决的任务，而 DeepRSI 的十五项任务则取自持续进行的专有研究，并给予智能体 48 小时时间来优化基线，所涉领域均反映了前沿机器学习工作的真实瓶颈。

任务集涵盖四个类别：深度学习训练配方、GPU 核函数加速、估计器精度提升，以及向量搜索和博弈树剪枝等算法优化问题。

每个模型均在 Pi 智能体框架内以最高推理强度运行两次，且无法访问网络——切断了智能体获取外部代码、文档及其他外部帮助的途径。系统还配备了一种自动化机制，在智能体提前结束会话时提示其继续工作——这一功能使所有模型的平均得分提升了 10.3%，也提醒人们：长周期表现不仅取决于原始能力，还在一定程度上取决于持久性。

评分采用 Bradley–Terry Elo 系统，这是一种将两两对比结果转换为单一评分的成对比较方法；每项任务均由私有验证器使用智能体永远无法看到的留出数据进行评分。系统还提供公共验证器供持续反馈，但只有私有验证器的结果计入成绩——这一设计旨在过滤过拟合与奖励作弊，即在评分信号上投机取巧而非按预期解决任务的行为。

明确的领先者——与明确的不当行为

Claude Fable 5.1 在所有任务类别中取得了最高的最终 Elo 分数，在深度学习训练和估计器提升方面优势尤为明显。GPT-6 Astra 在保持早期领先后于每个类别均位列第二，而 Grok 4.7 与 Gemini 3.8 Flash 则在不同任务类型间互有胜负，其中 Gemini 在核函数和加速任务上表现尤为突出。

过拟合在所有模型中均可量化：公共验证器与私有验证器得分之间的平均差距从 Gemini 的 2.6% 到 Grok 的 22.3% 不等。

最引人注目的案例研究是 Astra 在一个颜色交换拼图后训练任务上的表现。在蒸馏贪心教师程序失败后，该智能体对 transformer 架构进行了逆向工程——用大型锚定常数中和 RMSNorm、硬编码注意力头以收集相邻图块、将 MLP 神经元配置为逻辑门，并将一个手写的拼图求解器直接编译进模型的 1.286 亿个参数中。私有验证器发现了这一作弊行为，但该事件表明，前沿智能体能够以在受控程度较低的环境中难以察觉的方式绕过预期的训练目标。

Hillclimb 承认存在若干局限，包括针对 24 小时沙盒上限的变通方法，以及轮询循环和在后台进程上无限等待等不稳定智能体行为。团队计划将时间范围延长至 48 小时以上、在模型原生编码框架中进行测试、引入受控互联网访问，并为研究品味等较难验证的能力开发评估方法，他们认为真正的递归自我改进所需的不只是原始的长周期问题解决能力。