Coinbase 於 10 月 7 日報告，在為其 Onramp 服務進行支付審查的歷史測試中，三個主要 AI 模型家族的較新版本查獲的詐騙付款更少、攔截的詐騙金額占比也更低，而決策政策維持不變。這些結果詳見一份基準測試報告，挑戰了「升級模型必然能改善現有支付審查系統」的假設。

該公司的評估回放了 7,293 名用戶的 16,140 筆交易，其中包括 813 起確認詐騙交易。此樣本群體涵蓋其風險代理上線前的九週時間，保留了所有已成熟的詐騙案件，同時抽樣合法交易。

每個候選模型都在固定指引以及將風險分類轉換為決策的相同政策下，審查近期的交易行為。這種設計將決策模型的行為隔離在現有設定之內，而非比較重新設計的審查系統。對營運者而言，這正是實務上最重要的升級情境：保持審查系統不變，僅替換底層模型。

較新模型在固定的歷史回放中表現較差

Coinbase 比較了 Opus 4.5 與 Opus 5、Sonnet 4.6 與 Sonnet 5，以及 GPT-5.4 與 GPT-5.6 (sol)。每個較新版本的召回率都較低，精確率與召回率的綜合指標 F1 也較低，金額加權召回率同樣較低。召回率衡量模型查獲的詐騙案件占比，而金額加權召回率衡量其查獲的詐騙總金額占比。

Sonnet 的召回率下降 22.2 個百分點，金額加權召回率下降 22.9 個百分點。Opus 的召回率下降 0.8 個百分點。兩個較新模型的精確率也較低，代表它們標記為詐騙的交易中，實際屬於詐騙的比例更小。

GPT 說明了為何單一改善的指標可能造成誤導。其精確率上升 11.5 個百分點，但召回率下降 20.7 個百分點，金額加權召回率下降 21.8 個百分點。其詐騙標記更為準確，但在回放中卻有更多詐騙案件與金額逃過偵測。

該回放並未確定部署這些版本會造成多少客戶損失。Coinbase 也表示，其能識別這些效能退化，但未能確定原因。這使得此模式背後的機制成為已發表研究中尚未解答的問題，值得留意後續分析是否會加以探討。

Coinbase 較早前的線上實驗，比較了加入選擇性 LLM 審查與僅使用現有模型和規則的效果。該代理啟用流程記錄到的詐騙交易減少 30%，詐騙金額減少 22%；該實驗並未比較較新的模型版本。

SR-Fraud 研究員在限制章節中表示，專有資料集無法公開，限制了獨立重現與推廣。他們相關的支付詐騙研究最初於 9 月 23 日發表，並於 9 月 30 日修訂，早於 10 月的部落格文章。

定製模型的另一個案例

在 10 月 8 日的揭露中，Coinbase 報告，一個經過後訓練的 Qwen3.5-9B 模型在四項詐騙偵測指標上超越 Opus 4.5。F1 提升 9.6 個百分點，金額加權召回率上升 35.4 個百分點。該公司利用歷史詐騙結果與平衡詐騙及合法樣本的確定性獎勵，對模型進行專門化訓練。

另外，生產環境測量顯示，LLM 請求的端對端中位數延遲為 0.683 秒，而 Opus 4.5 為 1.515 秒，相對減少 55%。更快的推論速度與更強的基準偵測表現來自不同的評估。

綜觀這兩份揭露，為支付團隊描繪出一個實務上的抉擇：跟進前沿版本的更新並在自己的決策設定下逐一重新驗證，或如 Coinbase 所做，以較小的模型針對歷史結果進行專門化。

Coinbase 表示，對支付服務提供商而言，升級問題在於候選模型是否能在其實際決策設定下改善詐騙覆蓋率。該公司建議先在該設定下進行測試，再分別評估提示詞或閾值的變更，並在偵測品質之外同時衡量延遲、可靠性與成本。