Coinbase meldete am 7. Oktober, dass neuere Versionen von drei großen KI-Modellfamilien in einem historischen Test des Payment-Screenings für seinen Onramp-Dienst weniger betrügerische Zahlungen und einen geringeren Anteil des Fraud-Volumens erkannten, obwohl die Entscheidungsrichtlinie unverändert blieb. Die Ergebnisse, die in einem Benchmark-Bericht detailliert beschrieben werden, stellen die Annahme infrage, dass ein Modell-Upgrade automatisch einen bestehenden Payment-Screener verbessert.

Die Auswertung des Unternehmens spielte 16.140 Transaktionen von 7.293 Nutzern erneut ab, darunter 813 bestätigte betrügerische Transaktionen. Die Kohorte umfasste neun Wochen vor dem Rollout des Risk-Agenten von Coinbase und behielt alle abgeschlossenen Fraud-Fälle bei, während legitimer Traffic samplingweise einbezogen wurde.

Jedes Kandidatenmodell prüfte das jüngere Transaktionsverhalten unter festen Vorgaben und derselben Richtlinie zur Umwandlung von Risikoklassifizierungen in Entscheidungen. Dieses Design isolierte das Verhalten des Entscheidungsmodells innerhalb des bestehenden Setups, statt überarbeitete Screening-Systeme zu vergleichen. Für einen Betreiber ist das das Upgradeszenario, das in der Praxis zählt: Das Screening-System bleibt intakt, und nur das darunterliegende Modell wird ausgetauscht.

Neuere Modelle schnitten in einer festen historischen Replay-Analyse schlechter ab

Coinbase verglich Opus 4.5 mit Opus 5, Sonnet 4.6 mit Sonnet 5 sowie GPT-5.4 mit GPT-5.6 (sol). Jede neuere Version wies einen niedrigeren Recall, einen niedrigeren kombinierten Precision-und-Recall-Wert namens F1 und einen niedrigeren dollar-gewichteten Recall auf. Recall misst den Anteil der Fraud-Fälle, den ein Modell erkennt; der dollar-gewichtete Recall misst, wie viel des gesamten Fraud-Volumens es erkennt.

Sonnet's Recall fiel um 22,2 Prozentpunkte, sein dollar-gewichteter Recall sank um 22,9 Punkte. Der Recall von Opus ging um 0,8 Punkte zurück. Beide neueren Modelle zeigten zudem eine niedrigere Precision, was bedeutet, dass ein kleinerer Anteil der als Fraud eingestuften Transaktionen tatsächlich betrügerisch war.

GPT veranschaulichte, warum ein einzelner verbesserter Wert irreführend sein kann. Die Precision stieg um 11,5 Prozentpunkte, doch der Recall fiel um 20,7 Punkte und der dollar-gewichtete Recall um 21,8 Punkte. Seine Fraud-Markierungen waren genauer, doch in der Replay-Analyse entgingen mehr Fraud-Fälle und mehr Wert der Erkennung.
Die Replay-Anlage belegt keine Kundenschäden durch den Einsatz dieser Versionen. Coinbase gab zudem an, die Verschlechterungen identifizieren zu können, ohne ihre Ursache zu bestimmen. Damit bleibt der Mechanismus hinter dem Muster eine offene Frage der veröffentlichten Arbeit – und eine, die man im Auge behalten sollte, falls nachfolgende Analysen sie behandeln.

Coinbase' früheres Online-Experiment verglich das Hinzufügen einer selektiven LLM-Prüfung mit den bestehenden Modellen und Regeln allein. Der agentengestützte Ablauf verzeichnete 30 % weniger betrügerische Transaktionen und 22 % weniger Fraud-Wert; neuere Modellversionen wurden dabei nicht verglichen.

In ihrem Abschnitt zu Einschränkungen erklärten die SR-Fraud-Forscher, dass der proprietäre Datensatz nicht veröffentlicht werden kann, was eine unabhängige Replikation und Verallgemeinerung einschränkt. Die zugehörige Studie zu Zahlungsfraud erschien erstmals am 23. September und wurde am 30. September überarbeitet, vor den Oktober-Blogbeiträgen.

Ein separater Fall für ein individuelles Modell

In einer Mitteilung vom 8. Oktober berichtete Coinbase, dass ein post-trainiertes Qwen3.5-9B-Modell Opus 4.5 bei vier Fraud-Detection-Metriken übertraf. F1 verbesserte sich um 9,6 Prozentpunkte und der dollar-gewichtete Recall stieg um 35,4 Punkte. Das Unternehmen spezialisierte das Modell anhand historischer Fraud-Ergebnisse und deterministischer Belohnungen, die betrügerische und legitime Beispiele ausbalancierten.

Separat ergaben Produktionsmessungen eine mediane End-to-End-Latenz von LLM-Anfragen von 0,683 Sekunden gegenüber 1,515 Sekunden bei Opus 4.5, eine relative Reduktion von 55 %. Die schnellere Inferenz und die stärkere Benchmark-Erkennung stammten aus unterschiedlichen Auswertungen.

Zusammen gelesen zeichnen die beiden Mitteilungen eine praktische Weichenstellung für Zahlungs-Teams: entweder mit den Frontier-Versionsupdates Schritt halten und jedes einzelne in den eigenen Entscheidungssetups erneut validieren – oder ein kleineres Modell auf historische Ergebnisse spezialisieren, wie es Coinbase getan hat.

Für Zahlungsanbieter, so Coinbase, lautet die Upgrade-Frage, ob ein Kandidat die Fraud-Abdeckung im tatsächlichen Entscheidungssetup verbessert. Das Unternehmen empfiehlt, zunächst diese Konfiguration zu testen, dann geänderte Prompts oder Schwellenwerte separat zu evaluieren und dabei Latenz, Zuverlässigkeit und Kosten neben der Erkennungsqualität abzuwägen.