Coinbase 于 10 月 7 日报告称，在其 Onramp 服务支付筛查的历史回放测试中，三大主要 AI 模型家族的较新版本比前代版本查获的欺诈支付更少、覆盖的欺诈金额占比也更低，而决策策略保持不变。这一发现详见一份基准测试报告，它挑战了“升级模型必然改进现有支付筛查系统”的假设。

该公司的评估回放了来自 7,293 名用户的 16,140 笔交易，其中包括 813 起已确认的欺诈交易。该数据集覆盖其风险智能体上线前的九周时间，保留了所有已成熟的欺诈案件，同时对正常交易流量进行抽样。

每个候选模型都在固定指引和相同的风险分类转决策策略下审查近期交易行为。这一设计将决策模型的行为隔离在现有设置之内，而不是对比重新设计的筛查系统。对运营商而言，这正是实际中有意义的升级场景：筛查系统保持不变，仅更换底层的模型。

在固定的历史回放中，较新模型表现不佳

Coinbase 将 Opus 4.5 与 Opus 5、Sonnet 4.6 与 Sonnet 5、以及 GPT-5.4 与 GPT-5.6 (sol) 进行了对比。每个较新版本的召回率、综合精确率与召回率的 F1 分数以及金额加权召回率均更低。召回率衡量模型查获的欺诈案件占比，金额加权召回率衡量其查获的欺诈总金额占比。

Sonnet 的召回率下降了 22.2 个百分点，金额加权召回率下降了 22.9 个百分点。Opus 的召回率下降了 0.8 个百分点。两个较新模型的精确率也更低，这意味着它们标记为欺诈的交易中，真正属于欺诈的比例更小。

GPT 则说明了为什么单一指标的改善可能具有误导性。其精确率上升了 11.5 个百分点，但召回率下降了 20.7 个百分点，金额加权召回率下降了 21.8 个百分点。其欺诈标记更准确，但在回放中有更多的欺诈案件和金额逃过了检测。

该回放并未证实部署这些版本会给客户造成损失。Coinbase 也表示，它能够识别出这些性能倒退，但未确定其原因。这使得该模式背后的机制在已发布的研究中仍是一个悬而未决的问题，后续分析或许会对此作出解答。

Coinbase 更早的在线实验对比了在现有模型和规则基础上增加选择性 LLM 审查的效果。该智能体加持的流程使欺诈交易减少了 30%，欺诈金额减少了 22%；但它并未对比较新的模型版本。

SR-Fraud 研究人员在局限性部分表示，其专有数据集无法公开，这限制了独立复现和推广。他们相关的支付欺诈研究于 9 月 23 日首次发布，并于 9 月 30 日修订，早于十月的博客文章。

定制模型的另一个案例

在 10 月 8 日的披露中，Coinbase 报告称，经过后训练的 Qwen3.5-9B 模型在四项欺诈检测指标上超越了 Opus 4.5。F1 提升了 9.6 个百分点，金额加权召回率上升了 35.4 个百分点。该公司利用历史欺诈结果以及平衡欺诈样本与正常样本的确定性奖励对该模型进行了专门化训练。

此外，生产环境测量显示，LLM 请求的端到端中位延迟为 0.683 秒，而 Opus 4.5 为 1.515 秒，相对降低了 55%。更快的推理和更强的基准检测表现来自不同的评估。

综合来看，这两份披露为支付团队勾勒出一个务实的选择：要么跟进前沿版本的更迭，并在自身的决策环境中逐一重新验证；要么像 Coinbase 那样，基于历史结果对较小的模型进行专门化定制。

Coinbase 表示，对支付服务商而言，升级问题的关键在于候选模型是否其实际决策环境下改善欺诈覆盖。该公司建议先测试该配置，再分别评估提示词或阈值的变更，并在检测质量之外权衡延迟、可靠性和成本。