Coinbaseが公開した調査結果によると、最新世代のフロンティアAIモデルは不正取引の検出において旧モデルより低い性能を示しており、この結果を受けて同暗号資産取引所は、ドメイン固有のポストトレーニングで精緻化したオープンウェイトモデルへリスク管理業務を移行させている。

調査結果は10月7日、Coinbaseの「Owning Intelligence」シリーズ第2弾として公開された。同社はこの中で、7,293人のユーザーにわたる16,140件の取引からなる固定ベンチマーク上で6つの大規模言語モデルを評価したと説明している。データセットは、同社のLLM駆動型リスクエージェントの展開前に収集された9週間分の本番データから取得されており、エージェント自身の介入が観測される不正の結果に偏りを与えないようになっている。対象データには不正確定813件が含まれていた。この比較は定義された過去データセットと特定の評価セットアップを用いたものであるため、その結果は当該ベンチマークにおけるモデルの性能を示すものであり、すべての不正検出用途で新しいモデルが劣ることを証明するものではない。

3組すべてのペアで新モデルが性能低下

評価では、Opus 4.5とOpus 5、Sonnet 4.6とSonnet 5、GPT-5.4とGPT-5.6が比較された。3組すべてのペアで、新バージョンはリコール、F1スコア、金額加重リコール(不正取引全体の額のうち正常に識別できた割合。Coinbaseが支払いリスクにとって特に重要とみなす指標)が低下した。

低下の幅はかなり異なっていた。Sonnet 5のリコールはSonnet 4.6比で22.2ポイント低下し、金額加重リコールは22.9ポイント落ち込んだ。精度とリコールの双方が低下したことから、このモデルは両者の単純なトレードオではなく、不正と正当な活動を区別する総合的な能力が弱まっていることを示した。Opus 5のリコール低下は0.8ポイントとより小幅だった。GPT-5.6は異なるパターンを示した。精度は11.5ポイント改善したものの、リコールは20.7ポイント、金額加重リコールは21.8ポイント低下しており、より保守的な分類動作と整合する挙動である。

10月12日、Coinbase Developer PlatformはXでこの結果を発表した。

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(X上の投稿)

モデル選定への示唆とCoinbaseの対応

Coinbaseは、このベンチマークが性能低下を示すもののその原因は特定していないと注意を促し、プロバイダーの学習データや目的へのアクセスがない限り、いかなる説明も推測の域を出ないとしている。考えられる要因としては、意思決定境界とプロンプト挙動の変化、ポストトレーニング工程で生じるトレードオフ、学習データの構成やタスクの優先順位の変更などが挙げられる。

今回の調査結果は、同社のモデルアップグレードへの取り組み方を変えるものとなった。Coinbaseは、どのリリースが最新かを問うのではなく、候補モデルが精度とリコールの総合的なトレードオフを改善するか、観測された差異がモデル自体に起因するものか、それとも周辺のプロンプトや意思決定ポリシーの変更によるものか、そしてモデルが実稼働する支払いフローのレイテンシー、信頼性、コスト要件を満たすかをチームが評価すべきだと主張する。実務上、これはモデル選定を運用上の評価問題にする。関連する比較には、検出品質と、モデルが稼働する支払いシステムの制約の双方が含まれる。

モデル自社保有への転換

この結果を受けて、モデル自社保有への戦略的転換が実現した。Coinbaseは、法定通貨入金サービス「Onramp」のリスク管理エージェントを、オープンウェイトモデルとドメイン固有のポストトレーニングへ移行させた。シリーズ第3弾によると、同社はAnyscale上でSkyRLを使用してQwen3.5-9Bをポストトレーニングし、4つの不正検出指標すべてでOpus 4.5を上回り、エンドツーエンドの推論レイテンシーを55%削減するモデルを生み出した。

このアプローチは以前の結果に基づくものだ。シリーズ第1弾でCoinbaseは、既存の機械学習モデルとルールエンジンの上にLLMレビューエージェントを重ねる形(既存のリスクスタックを置き換えずに展開)で、オンラインA/B実験において不正取引を30%、不正金額を22%削減したと報告している。ベンチマークとA/B実験の結果は、管理されたテスト環境でのモデル比較と、統合されたリスクシステムの実運用での性能測定という、それぞれ異なる評価ニーズを示している。
出典:Metaverse Post