Coinbase 發布的研究結果顯示，最新一代前沿 AI 模型在偵測詐欺交易方面的表現不如前代模型——這一結果促使這家加密貨幣交易所將其風控營運轉向經過特定領域後訓練優化的開放權重模型。

這些結果於 10 月 7 日發布在 Coinbase 的「Owning Intelligence」系列第二集中，該公司描述了在涵蓋 7,293 名用戶、共 16,140 筆交易的固定基準測試中對六個大型語言模型的評估。該資料集取自 Coinbase 的 LLM 風控代理部署之前九週的生產環境資料，以確保該代理自身的干預不會扭曲可觀察的詐欺結果。樣本中共包含 813 筆確認的詐欺交易。由於此比較採用特定的歷史資料集與評估設定，其結果反映的是模型在該基準測試中的表現，並不能證明新模型在所有詐欺偵測應用場景中都表現較差。

三組新舊模型對比中，新模型全面回歸

這次評估比較了 Opus 4.5 與 Opus 5、Sonnet 4.6 與 Sonnet 5，以及 GPT-5.4 與 GPT-5.6。在三組對比中，新版本的召回率、F1 分數以及金額加權召回率（即成功識別的詐欺交易金額佔總詐欺交易金額的比例，Coinbase 認為這項指標對支付風險尤其重要）均低於前代。

回歸幅度差異相當大。相較於 Sonnet 4.6，Sonnet 5 的召回率下降 22.2 個百分點，金額加權召回率下降 22.9 個百分點；由於確率與召回率同步下滑，顯示該模型整體上區分詐欺與合法交易的能力減弱，而非兩者之間的簡單權衡。Opus 5 的召回率降幅較為溫和，僅 0.8 個百分點。GPT-5.6 則呈現不同的模式：精確率提升 11.5 個百分點，但召回率下降 20.7 個百分點、金額加權召回率下降 21.8 個百分點——這種行為與更保守的分類策略一致。

Coinbase 開發者平台於 10 月 12 日在 X 上公布結果時寫道：

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(X 貼文)

對模型選擇的啟示與 Coinbase 的應對

Coinbase 提醒，該基準測試僅顯示了回歸現象，並未確立其成因；由於無法取得供應商的訓練資料或訓練目標，任何解釋都屬於推測。可能的原因包括決策邊界與提示行為的變化、後訓練過程引入的權衡，以及訓練資料組成與任務優先順序的調整。

這些發現改變了公司對模型升級的思路。Coinbase 認為，團隊不應只問哪個版本最新，而應評估候選模型是否改善精確率與召回率之間的整體權衡、觀察到的差異究竟是源自模型本身還是周邊提示與決策策略的變更，以及模型是否滿足即時支付流程對延遲、可靠性與成本的要求。實務上，這使模型選擇成為一個營運評估問題：相關比較須同時涵蓋偵測品質與模型所運行之支付系統的限制。

邁向模型自主權

這些結果推動了公司朝模型自主權的策略轉向。Coinbase 已將其法幣入金服務 Onramp 的風控代理轉向開放權重模型與特定領域後訓練。根據該系列第三集，公司使用 SkyRL 在 Anyscale 上對 Qwen3.5-9B 進行後訓練，產出的模型在全部四項詐欺偵測指標上超越 Opus 4.5，同時將端對端推論延遲降低 55%。

這一做法建立在更早的成果之上：在系列第一集中，Coinbase 曾報告，在不取代現有風控架構的情況下，於其既有機器學習模型與規則引擎之上疊加 LLM 審查代理，在線上 A/B 實驗中將詐欺交易減少30%、詐欺金額減少 22%。綜合基準測試與 A/B 實驗結果，可以看出兩項不同的評估需求：在受控測試中比較模型，以及衡量整合風控系統在實際使用中的表現。

來源：Metaverse Post