Coinbase a rapporté le 7 octobre que les versions plus récentes de trois grandes familles de modèles d'IA ont détecté moins de paiements frauduleux et une part moindre de la valeur des fraudes lors d'un test historique du filtrage des paiements pour son service Onramp, alors même que la politique de décision restait inchangée. Ces résultats, détaillés dans un rapport de benchmark, remettent en question l'idée selon laquelle la mise à niveau d'un modèle améliore automatiquement un système de filtrage des paiements existant.

L'évaluation de la société a rejoué 16 140 transactions de 7 293 utilisateurs, dont 813 transactions frauduleuses confirmées. La cohorte couvrait les neuf semaines précédant le déploiement de l'agent de risque de Coinbase et conservait tous les cas de fraude arrivés à maturité tout en échantillonnant le trafic légitime.

Chaque modèle candidat a examiné le comportement transactionnel récent sous des instructions fixes et la même politique de conversion des classifications de risque en décisions. Cette conception a isolé le comportement du modèle de décision au sein de la configuration existante, plutôt que de comparer des systèmes de filtrage redessinés. Pour un opérateur, c'est le scénario de mise à niveau qui compte en pratique : conserver le système de filtrage intact et ne changer que le modèle sous-jacent.

Des modèles plus récents moins performants lors d'une relecture historique fixe

Coinbase a comparé Opus 4.5 avec Opus 5, Sonnet 4.6 avec Sonnet 5, et GPT-5.4 avec GPT-5.6 (sol). Chaque version plus récente a affiché un recall plus faible, un score combiné précision-recall appelé F1 plus bas, et un recall pondéré par les montants inférieur. Le recall mesure la part des cas de fraude qu'un modèle détecte, tandis que le recall pondéré par les montants mesure la part de la valeur totale des fraudes qu'il détecte.

Le recall de Sonnet a chuté de 22,2 points de pourcentage et son recall pondéré par les montants a baissé de 22,9 points. Le recall d'Opus a diminué de 0,8 point. Les deux modèles plus récents ont également montré une précision plus faible, ce qui signifie qu'une part moindre des transactions signalées comme frauduleuses l'étaient réellement.

GPT a illustré pourquoi une seule métrique en amélioration peut induire en erreur. Sa précision a augmenté de 11,5 points de pourcentage, mais son recall a chuté de 20,7 points et son recall pondéré par les montants de 21,8 points. Ses signalements de fraude étaient plus précis, mais davantage de cas et de valeurs de fraude ont échappé à la détection lors de la relecture.

La relecture n'établit pas de pertes clients liées au déploiement de ces versions. Coinbase a également indiqué avoir pu identifier les régressions sans en déterminer la cause. Le mécanisme derrière ce schéma reste donc une question ouverte dans les travaux publiés, et à suivre car des analyses complémentaires pourraient l'aborder.

Une précédente expérience en ligne de Coinbase comparait l'ajout d'une revue LLM sélective aux modèles et règles existants seuls. Ce flux agentifié a enregistré 30 % transactions frauduleuses en moins et 22 % de valeur de fraude en moins ; il ne comparait pas de versions plus récentes de modèles.

Dans leur section sur les limites, les chercheurs de SR-Fraud indiquent que le jeu de données propriétaire ne peut pas être publié, ce qui restreint la réplication indépendante et la généralisation. Leur étude connexe sur la fraude aux paiements est parue le 23 septembre et a été révisée le 30 septembre, avant les blogs d'octobre.

Un cas distinct en faveur d'un modèle sur mesure

Dans une communication du 8 octobre, Coinbase a rapporté qu'un modèle Qwen3.5-9B post-entraîné surpassait Opus 4.5 sur quatre indicateurs de détection de fraude. Le F1 s'est amélioré de 9,6 points de pourcentage et le recall pondéré par les montants a augmenté de 35,4 points. La société a spécialisé le modèle en utilisant des résultats de fraude historiques et des récompenses déterministes équilibrant exemples frauduleux et légitimes.

Par ailleurs, des mesures en production situaient la latence médiane de bout en bout des requêtes LLM à 0,683 seconde, contre 1,515 seconde pour Opus 4.5, soit une réduction relative de 55 %. L'inférence plus rapide et la détection renforcée au benchmark provenaient d'évaluations différentes.

Lus ensemble, ces deux communiqués dessinent un choix pratique pour les équipes de paiement : suivre les mises à jour de versions de pointe et revalider chacune dans leurs propres configurations de décision, ou spécialiser un modèle plus petit sur des résultats historiques, comme l'a fait Coinbase.

Pour les fournisseurs de paiement, a indiqué Coinbase, la question de la mise à niveau est de savoir si un candidat améliore la couverture de fraude dans leur configuration de décision réelle. La société recommande de tester d'abord cette configuration, puis d'évaluer séparément les changements de prompts ou de seuils, en pesant la latence, la fiabilité et le coût aux côtés de la qualité de détection.