Coinbase 发布的研究结果表明,最新一代前沿 AI 模型在检测欺诈交易方面的表现不及前代模型——这一结果促使这家加密货币交易所将其风险控制业务转向经领域特定后训练优化的开源权重模型。

相关发现于 10 月 7 日在 Coinbase 的“Owning Intelligence”系列第二部分中发布。该公司在该部分中描述了对六种大型语言模型在包含 16,140 笔交易、覆盖 7,293 名用户的固定基准数据集上的评估。该数据集取自公司部署 LLM 风险代理之前九周的生产数据,以确保该代理自身的干预不会影响可观察到的欺诈结果。该数据集包含 813 笔已确认的欺诈交易。由于该对比使用的是特定的历史数据集和特定的评估设置,其结果反映的是模型在该基准中的表现,并不能证明较新的模型在所有欺诈检测应用中表现都更差。

三组对比中新模型均出现性能回退

评估对 Opus 4.5 与 Opus 5、Sonnet 4.6 与 Sonnet 5,以及 GPT-5.4 与 GPT-5.6 进行了比较。在所有三组对比中,较新版本的召回率、F1 分数和按金额加权的召回率(即成功识别的欺诈交易总金额占比——Coinbase 认为该指标对支付风险尤为重要)均更低。

回退幅度差异明显。相对于 Sonnet 4.6,Sonnet 5 的召回率下降了 22.2 个百分点,按金额加权的召回率下降 22.9 个百分点;由于精确率和召回率双双下降,该模型区分欺诈与合法交易的整体能力更弱,而非两者之间的简单权衡。Opus 5 的召回率降幅较为温和,为 0.8 个百分点。GPT-5.6 则呈现不同模式:精确率提高了 11.5 个百分点,但召回率下降 20.7 个百分点,按金额加权的召回率下降 21.8 个百分点——这与更保守的分类行为一致。

Coinbase Developer Platform 于 10 月 12 日在 X 上公布结果时写道:

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(X 上的帖子)

对模型选择的影响及 Coinbase 的应对

Coinbase 提示,其基准测试仅展示了性能回退这一现象,并未确定其原因,并指出由于无法获取提供商的训练数据或训练目标,任何都只能停留在推测层面。可能的因素包括决策边界和提示行为的转变、后训练过程引入的权衡,以及训练数据构成和任务优先级的变化。

这些发现改变了公司对待模型升级的方式。Coinbase 认为,团队不应只关注哪个版本最新,而应评估候选模型是否能改善精确率与召回率之间的整体权衡、所观察到的差异究竟源于模型本身还是周边提示与决策策略的调整,以及该模型是否满足实时支付流程对延迟、可靠性和成本的要求。在实践中,这使模型选择成为一个运营层面的评估问题:相关的比较既包括检测质量,也包括模型所运行的支付系统的约束条件。

转向模型自主可控

这些结果促使公司战略性地转向模型自主拥有。Coinbase 已将其法币入金服务 Onramp 的风险控制代理转向开源权重模型和领域特定后训练。据该系列第三部分所述,公司使用 SkyRL 在 Anyscale 上对 Qwen3.5-9B 进行了后训练,所得模型在全部四项欺诈检测指标上均超越 Opus 4.5,同时将端到端服务延迟降低了 55%。

这一方法建立在更早的结果之上:在系列第一部分中,Coinbase 报告称,在不替换现有风控体系的情况下,在其现有机器学习模型和规则引擎之上叠加一个 LLM 审查代理,在一项在线 A/B 实验中将欺诈交易减少了 30%,将欺诈金额减少了 22%。基准测试与 A/B 实验的结果共同指向两个独立的评估需求:在受控测试中比较模型,以及衡量集成风控系统在实际使用中的表现。

来源:Metaverse Post