新闻股票Visa 首创性研究:AI 购物代理近半数任务以失败告终

Visa 首创性研究:AI 购物代理近半数任务以失败告终

作者: Fortune Crypto·

要点速览

  • •Visa 指示 22 个 AI 代理各自完成 15 项购物任务——总计 330 次尝试——涵盖电视、笔记本电脑和美发器具,整体成功率仅约 57%。
  • •Google Gemini 的 Aragon 4 版本与 Meta Making 的 Wonder 版本并列最高分,成功率均为 82%,领先于 76% 的 Claude 代理和 64% 的 OpenAI 代理。
  • •成功率与模型成本相关,最昂贵的五个模型平均成功率 67%,最便宜的五个为 50%,这意味着结果在很大程度上取决于驱动代理的模型。
  • •许多代理失败的原因是买错了产品或未能提出合适建议,因为购物者(与现实消费者类似)只透露了部分所需属性,例如主机兼容性、30 天退货窗口或 Dolby Vision。
  • •Visa 和竞争对手 Mastercard 正在构建工具并教育商户以推动代理式商务,而越权购买或欺诈的法律责任仍悬而未决,不过 Visa 全球增长主管 Rubail Birwadker 预计此类问题将随时间推移逐步解决。
Visa 首创性研究:AI 购物代理近半数任务以失败告终

随着 Muse 和 Claude 等个人 AI 代理融入日常生活,越来越多的人开始将购物任务交给它们。但 Visa 的一项新研究表明,这项技术尚未胜任这一工作:在这项首创性实验中,这家支付巨头指示 22 个不同的 AI 代理购买三件日常商品——一台电视、一台笔记本电脑和一件美发器具——整体成功率仅为约 57%。

研究结果发布在 Visa 新上线的网站上,详细展示了 22 个代理各自进行的 15 次独立购物尝试的结果,共计 330 次尝试。或许并不意外,由更前沿的 AI 模型驱动的代理表现最佳。Google Gemini 的 Aragon 4 版本和 Meta Making 的 Wonder 版本得分最高,成功率均为 82%。一个 Claude 代理以 76% 的成功率排名第三,而一个 OpenAI 代理则以 64% 的成功率位列第六。

Visa 公布的数据绘制了全部 22 个模型的表现,纵轴为每个代理的成功率,横轴为每次购物查询的运行成本。该公司指出,表现与价格存在明显关联:最昂贵的五个模型平均成功率为 67%,而最便宜的五个仅为 50%。对于考虑是否委托购买的消费者而言,这一差距意味着当前的结果在很大程度上取决于驱动代理的是哪种模型。

代理们难以完成购买的部分原因在于一个简单的现实:任何一次购买背后的动机往往十分复杂,而且在许多情况下,消费者缺乏信息,也不确定自己想要什么。

Visa 的实验正是为了捕捉这一动态而设计。在电视购物任务中,购物者(本身也是代理)被分配了一份他们所需电视机的属性清单,例如与儿童游戏主机兼容、30 天退货窗口,以及支持 Dolby Vision 的机型。与现实世界的消费者一样,购买者只会主动提供部分信息,而非全部。

结果是,要在 Visa 的实验中取得成功,AI 代理必须以恰当的方式与购物者互动,在合理的时间内获取缺失的信息。成功的标准是买到符合购物者需求的电视。但在许多情况下,代理要么买错了产品,要么根本未能提出任何合适的建议。

"无论从信任还是技术角度来看,我们都还没到那一步。但我们很快将进入一个消费者可以信任并委托代理的世界,"Visa 全球增长主管 Rubail Birwadker 告诉 Fortune。

Birwadker 指出,代理驱动的购物仍处于早期阶段,但正在快速推进。他补充说,产品发现——即 Visa 实验的重点——只是零售商和 AI 公司正在努力探索的这一新型商业模式的一个环节。

要让 AI 代理进入购物主流,企业还必须实现顺畅且安全的支付——Visa 及其竞争对手 Mastercard 已经在通过教育商户和构建工具来促进所谓的代理式商务(agentic commerce,即 AI 系统代表客户浏览、选择并支付商品)来应对这一挑战。

AI 代理购物还带来了新的、尚未解决的法律问题。最突出的是,当代理进行越权购买或实施欺诈时,责任应由谁承担仍不明确。据 Birwadker 表示,这些问题会随着时间的推移而得到解决,就像上一代消费者和商户逐渐学会使用电子商务一样——不过他补充说,基于代理的购物将与当今人们的在线购物体验大不相同。

在公布其代理购物实验结果的同时,Visa 还推出了一个网站,让消费者可以与调查中使用的代理进行互动,亲自检验这些代理的购物能力。

本文最初发表于 Fortune.com。