Coinbase meldde op 7 oktober dat nieuwere versies van drie grote AI-modelfamilies minder frauduleuze betalingen en een kleiner aandeel van de fraudewaarde opsporden in een historische test van betalingsscreening voor de Onramp-dienst, terwijl het beslissingsbeleid ongewijzigd bleef. De bevindingen, uiteengezet in een benchmarkrapport, stellen de aanname ter discussie dat het upgraden van een model automatisch een bestaande betaalscreener verbetert.

De evaluatie van het bedrijf speelde 16.140 transacties van 7.293 gebruikers opnieuw af, waaronder 813 bevestigde frauduleuze transacties. Het cohort besloeg negen weken vóór de uitrol van de risico-agent van Coinbase en behield alle afgeronde fraudegevallen terwijl legitiem verkeer werd bemonsterd.

Elk kandidaatmodel beoordeelde recent transactiegedrag onder vaste richtlijnen en hetzelfde beleid voor het omzetten van risicoclassificaties in beslissingen. Dat ontwerp isoleerde het gedrag van het beslissingsmodel binnen de bestaande opstelling, in plaats van herontworpen screeningsystemen te vergelijken. Voor een operator is dat de upgradesituatie die er in de praktijk toe doet: het screeningsysteem intact laten en alleen het onderliggende model vervangen.

Nieuwere modellen presteerden slechter in een vaste historische replay

Coinbase vergeleek Opus 4.5 met Opus 5, Sonnet 4.6 met Sonnet 5 en GPT-5.4 met GPT-5.6 (sol). Elke nieuwere versie liet lagere recall zien, een lagere gecombineerde precisie-en-recallscore bekend als F1, en lagere dollar-gewogen recall. Recall meet het aandeel fraudegevallen dat een model opsport, terwijl dollar-gewogen recall meet hoeveel van de totale fraudewaarde het opsport.

De recall van Sonnet daalde 22,2 procentpunten en de dollar-gewogen recall daalde 22,9 punten. De recall van Opus nam 0,8 punt af. Beide nieuwere modellen toonden ook lagere precisie, wat betekent dat een kleiner aandeel van de transacties die ze als fraude markeerden daadwerkelijk frauduleus was.

GPT illustreerde waarom één verbeterende score misleidend kan zijn. De precisie steeg met 11,5 procentpunten, maar de recall daalde 20,7 punten en de dollar-gewogen recall daalde 21,8 punten. De fraudemerkeringen nauwkeuriger, toch ontgingen meer fraudegevallen en meer fraudewaarde de detectie in de replay.

De replay stelt geen klantverlies vast door het inzetten van die versies. Coinbase zei ook dat het de achteruitgang kon vaststellen zonder de oorzaak te bepalen. Dat laat het mechanisme achter het patroon als open vraag in het gepubliceerde werk, en als punt om te volgen nu vervolganalyse dit mogelijk zal behandelen.

In een eerder online experiment van Coinbase werd het toevoegen van selectieve LLM-beoordeling vergeleken met alleen de bestaande modellen en regels. Die agent-gestuurde flow registreerde 30% minder frauduleuze transacties en 22% minder fraudewaarde; nieuwere modelversies werden daar niet vergeleken.

In hun beperkingen-sectie zeiden de SR-Fraud-onderzoekers dat de propriëtaire dataset niet kan worden vrijgegeven, wat onafhankelijke replicatie en generalisering beperkt. Hun verwante studie naar betaalfraude verscheen voor het eerst op 23 september en werd herzien op 30 september, vóór de oktoberblogs.

Een apart geval voor een op maat gemaakt model

In een openbaarmaking van 8 oktober meldde Coinbase dat een post-getraind Qwen3.5-9B-model Opus 4.5 overtrof op vier fraude-detectiemetrics. F1 verbeterde met 9,6 procentpunten en de dollar-gewogen recall steeg met 35,4 punten. Het bedrijf specialiseerde het model met historische fraude-uitkomsten en deterministische beloningen die frauduleuze en legitieme voorbeelden in balans hielden.

Afzonderlijk lieten productiemetingen een mediane end-to-end latentie van LLM-verzoeken zien van 0,683 seconde, tegenover 1,515 seconde voor Opus 4.5, een relatieve verlaging van 55%. De snellere inferentie en de sterkere benchmarkdetectie kwamen uit verschillende evaluaties.

Samen gelezen schetsen de twee openbaarmakingen een praktische keuze voor betalingsteams: gelijke tred houden met frontier-versie-updates en elke opnieuw valideren binnen hun eigen beslisopstellingen, of een kleiner model specialiseren op historische uitkomsten, zoals Coinbase deed.

Voor betaalaanbieders, aldus Coinbase, is de upgradevraag of een kandidaat de fraudedekking verbetert onder hun feitelijke beslisopstelling. Het bedrijf raadt aan die configuratie eerst te testen en daarna gewijzigde prompts of drempels apart te evalueren, waarbij latentie, betrouwbaarheid en kosten worden afgewogen naast detectiekwaliteit.