Coinbase a publié des résultats indiquant que la dernière génération de modèles d'IA de pointe est moins performante que ses prédécesseurs pour détecter les transactions frauduleuses — un constat qui a poussé la plateforme d'échange de crypto-actifs à orienter ses opérations de contrôle des risques vers des modèles à poids ouverts affinés par un post-entraînement spécifique au domaine.

Ces résultats sont parus le 7 octobre dans le deuxième volet de la série « Owning Intelligence » de Coinbase, dans lequel la société décrit l'évaluation de six grands modèles de langage sur un benchmark fixe de 16 140 transactions couvrant 7 293 utilisateurs. Le jeu de données provenait de neuf semaines de données de production collectées avant le déploiement de l'agent de risque propulsé par LLM de Coinbase, afin de garantir que les interventions de l'agent lui-même ne biaisent pas les résultats de fraude observables. La cohorte contenait 813 transactions frauduleuses confirmées. Comme la comparaison reposait sur un jeu de données historiques défini et une configuration d'évaluation spécifique, ses résultats reflètent la performance des modèles dans ce benchmark, et non l'établissement d'une sous-performance généralisée des modèles récents dans toutes les applications de détection de fraude.

Des modèles récents en régression sur les trois paires

L'évaluation a comparé Opus 4.5 à Opus 5, Sonnet 4.6 à Sonnet 5, et GPT-5.4 à GPT-5.6. Sur les trois paires, les versions récentes ont enregistré un rappel plus faible, des scores F1 plus bas et un rappel pondéré par les montants inférieur — c'est-à-dire la part de la valeur totale des transactions frauduleuses effectivement identifiée, une métrique que Coinbase juge particulièrement importante pour le risque de paiement.

L'ampleur de la régression a considérablement varié. Le rappel de Sonnet 5 a chuté de 22,2 points de pourcentage par rapport à Sonnet 4.6, le rappel pondéré par les montants reculant de 22,9 points ; comme la précision le rappel ont tous deux diminué, le modèle a montré une capacité globale plus faible à distinguer la fraude de l'activité légitime, plutôt qu'un simple arbitrage entre les deux. Opus 5 a affiché un recul de rappel plus modeste, de 0,8 point. GPT-5.6 a suivi un schéma différent : la précision s'est améliorée de 11,5 points, mais le rappel a chuté de 20,7 points et le rappel pondéré par les montants de 21,8 — un comportement cohérent avec une classification plus conservatrice.

En annonçant les résultats sur X le 12 octobre, la Coinbase Developer Platform a écrit :

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(Publication sur X)

Implications pour la sélection des modèles et la réponse de Coinbase

Coinbase a souligné que son benchmark démontre une régression sans en établir la cause, notant qu'en l'absence d'accès aux données d'entraînement et aux objectifs des fournisseurs, toute explication reste spéculative. Les facteurs plausibles incluent des changements dans les frontières de décision et le comportement face aux prompts, des arbitrages introduits par les processus de post-entraînement, et des évolutions dans la composition des données d'entraînement et les priorités des tâches.

Ces résultats redéfinissent l'approche de la société en matière de mises à niveau de modèles. Plutôt que de demander quelle version est la plus récente, Coinbase estime que les équipes devraient évaluer si un candidat améliore l'arbitrage global entre précision et rappel, si les différences observées proviennent du modèle lui-même ou de modifications des prompts et des politiques de décision environnants, et si le modèle répond aux exigences de latence, de fiabilité et de coût des flux de paiement en production. En pratique, cela fait de la sélection de modèles un problème d'évaluation opérationnelle : la comparaison pertinente englobe à la fois la qualité de détection et les contraintes du système de paiement dans lequel le modèle s'exécute.

Un virage vers l'appropriation des modèles

Ces résultats ont motivé une évolution stratégique vers l'appropriation des modèles. Coinbase a fait évoluer l'agent de contrôle des risques de son service de dépôt en monnaie fiduciaire, Onramp, vers des modèles à poids ouverts et un post-entraînement spécifique au domaine. Selon le troisième volet de la série, la société a post-entraîné Qwen3.5-9B avec SkyRL sur Anyscale, produisant un modèle qui a surpassé Opus 4.5 sur les quatre métriques de détection de fraude tout en réduisant de 55 % la latence de service de bout en bout.

Cette approche s'appuie sur des résultats antérieurs : dans le premier volet de la série, Coinbase indiquait que l'ajout d'un agent de revue LLM à son modèle de machine learning et à son moteur de règles existants — déployé remplacer la pile de risque en place — avait réduit les transactions frauduleuses de 30 % et la valeur de la fraude de 22 % lors d'une expérience A/B en ligne. Ensemble, les résultats du benchmark et de l'expérience A/B mettent en évidence deux besoins d'évaluation distincts : comparer les modèles dans un test contrôlé et mesurer les performances d'un système de risque intégré en conditions réelles.

Source : Metaverse Post