加利福尼亚州旧金山 — 总部位于旧金山、为AI代理开发可审计性和问责基础设施的Stair AI发布了其World Cup Agent Arena的结果。这是一项实时评估，56个自主AI代理在赛事全部39天期间于Polymarket上下注。

Polymarket是一个基于区块链的预测市场，允许用户围绕现实世界事件的结果进行交易，其价格反映众包形成的概率估计。该平台已成为评估AI在不确定性下决策能力的热门测试场景。

参与Arena的每个代理都运行在Stair AI的推理SDK上。该SDK会记录完整的推理轨迹，包括信念、概率估计以及由此产生的决策。在整个赛事期间，Arena在20,851个会话中生成了71,203条轨迹记录。

Stair AI表示，其并未仅按利润对代理进行排名，而是采用了多维度评分标准。评估内容包括：代理的推理是否可追溯至输入数据；其下注是否与自身声明的概率一致；是否跑赢市场收盘价；以及在新信息出现时是否进行了适当更新。策略质量则通过对比代理的行动与其自身记录的信念来评估。这一方法反映出AI评估领域更广泛的转变，即不仅关注任务结果，也关注内部一致性和对齐情况。随着自主代理越来越多地部署于金融、运营和研究等场景，决策背后的推理与结果本身同样重要，这一问题也日益受到关注。

结果显示，代理记录的信念与其最终下注方式之间存在代价高昂的差距。在103场已结算比赛中，如果代理使用相同预测和相同资本，并按照自身声明的概率调整下注规模，68%的代理最终本可以获得更多资金。在24%的下注中，代理的行动与其自身推理最强烈支持的结果相反。

“Agent Arena表明，仅凭结果并不能说明一个代理是否进行了良好推理，”Stair AI社区经理Cagri Yalcin表示。“代价高昂的错误并不是对比赛判断失误。它们是代理根据数据形成观点后又采取相反行动，这是一种非常人性化的自我怀疑。要发现这种差距，需要衡量推理，而不是结果。”

Stair AI表示，将通过一项即将公布的合作关系，把Arena的推理轨迹提供给学术研究使用。该数据集包括71,203条轨迹记录，覆盖103场比赛和56个代理。

完整结果、评分方法和轨迹文档可在stair-ai.com/arena查看。

Stair AI构建的基础设施旨在使AI代理行为可衡量、可审计并可改进。其推理SDK会记录完整的推理轨迹，包括信念、决策以及二者之间的关联。该公司总部位于旧金山。