Coinbase heeft bevindingen gepubliceerd waaruit blijkt dat de nieuwste generatie frontier-AI-modellen slechter presteert dan zijn voorgangers bij het detecteren van frauduleuze transacties — een resultaat dat de cryptocurrencybeurs ertoe heeft aangezet haar risicobeheeractiviteiten te verschuiven naar open-weight modellen die zijn verfijnd met domeinspecifieke post-training.

De bevindingen verschenen op 7 oktober in het tweede deel van de serie “Owning Intelligence” van Coinbase, waarin het bedrijf beschreef hoe zes grote taalmodellen werden geëvalueerd op een vaste benchmark van 16.140 transacties van 7.293 gebruikers. De dataset was afkomstig uit negen weken productiedata die waren verzameld vóór de inzet van de op LLM gebaseerde risico-agent van Coinbase, zodat de eigen interventies van de agent de waarneembare fraude-uitkomsten niet zouden vertekenen. De groep bevatte 813 bevestigde frauduleuze transacties. Omdat de vergelijking gebruikmaakte van een gedefinieerde historische dataset en een specifieke evaluatieopzet, hebben de resultaten betrekking op de prestaties van de modellen in die benchmark en bewijzen ze niet dat nieuwere modellen in elke fraudedetectietoepassing slechter presteren.

Nieuwere modellen vertonen regressie in alle drie de paren

De evaluatie vergeleek Opus 4.5 met Opus 5, Sonnet 4.6 met Sonnet 5 en GPT-5.4 met GPT-5.6. In alle drie de paren registreerden de nieuwere versies een lagere recall, lagere F1-scores en een lagere dollar-gewogen recall — het aandeel van de totale waarde van frauduleuze transacties dat met succes werd geïdentificeerd, een metriek die Coinbase bijzonder belangrijk vindt voor betalingsrisico.

De omvang van de regressie varieerde aanzienlijk. De recall van Sonnet 5 daalde met 22,2 procentpunt ten opzichte van Sonnet 4.6, terwijl de dollar-gewogen met 22,9 punt daalde; omdat zowel de precisie als de recall afnamen, toonde het model een zwakker vermogen om fraude te onderscheiden van legitieme activiteit, in plaats van een eenvoudige afweging tussen de twee. Opus 5 vertoonde een bescheidener recalldaling van 0,8 punt. GPT-5.6 volgde een ander patroon: de precisie verbeterde met 11,5 punt, maar de recall daalde met 20,7 punt en de dollar-gewogen recall met 21,8 — gedrag dat past bij een conservatievere classificatie.

Bij het aankondigen van de resultaten op X op 12 oktober schreef het Coinbase Developer Platform:

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(Post op X)

Implicaties voor modelselectie en de reactie van Coinbase

Coinbase benadrukte dat de benchmark een regressie aantoont zonder de oorzaak vast te stellen, en merkte op dat zonder toegang tot de trainingsdata of doelstellingen van de providers elke verklaring speculatief blijft. Plausibele factoren zijn verschuivingen in beslissingsgrenzen en promptgedrag, afwegingen die voortkomen uit post-trainingsprocessen, en veranderingen in de samenstelling van trainingsdata en taakprioriteiten.

De bevindingen veranderen hoe het bedrijf modelupgrades benadert. In plaats van te vragen welke release het nieuwste is, betoogt Coinbase dat teams moeten evalueren of een kandidaat de algehele afweging tussen precisie en recall verbetert, of waargenomen verschillen voortkomen uit het model zelf of uit veranderingen in omliggende prompts en beslisbeleid, en of het model voldoet aan de latentie-, betrouwbaarheids- en kostenvereisten van live betalingsstromen. In de praktijk maakt dat modelselectie tot een operationeel evaluatievraagstuk: de relevante vergelijking omvat zowel de detectiekwaliteit als de beperkingen van het betalingssysteem waarin het model draait.

Een verschuiving naar modeleigendom

De resultaten leidden tot een strategische stap richting modeleigendom. Coinbase heeft de risicobeheeragent voor zijn fiat-in legalisatiedienst Onramp verschoven naar open-weight modellen en domeinspecifieke post-training. Volgens het derde deel van de serie post-trainde het bedrijf Qwen3.5-9B met SkyRL op Anyscale, wat een model opleverde dat op alle vier de fraudedetectiemetrics beter presteerde dan Opus 4.5 en de end-to-end serving-latentie met 55% verlaagde.

De aanpak bouwt voort op eerdere resultaten: in deel 1 van de serie meldde Coinbase dat het toevoegen van een LLM-reviewagent aan het bestaande machine-learningmodel en de regelsengine — ingezet zonder vervanging van de bestaande risicostack — frauduleuze transacties 30% en de fraudewaarde met 22% terugbracht in een online A/B-experiment. Samen wijzen de benchmark- en A/B-resultaten op twee aparte evaluatiebehoeften: het vergelijken van modellen onder gecontroleerde omstandigheden en het meten van de prestaties van een geïntegreerd risicosysteem in productiegebruik.

Bron: Metaverse Post