Coinbase hat Ergebnisse veröffentlicht, die zeigen, dass die neueste Generation von Frontier-KI-Modellen bei der Erkennung betrügerischer Transaktionen schlechter abschneidet als ihre Vorgänger — ein Resultat, das die Kryptobörse dazu veranlasst hat, ihre Risikokontrollabläufe in Richtung Open-Weight-Modelle mit domänenspezifischem Post-Training zu verlagern.

Die Ergebnisse erschienen am 7. Oktober im zweiten Teil der Serie „Owning Intelligence“ von Coinbase, in der das Unternehmen die Evaluation von sechs großen Sprachmodellen anhand eines festen Benchmarks von 16.140 Transaktionen über 7.293 Nutzer beschrieb. Der Datensatz stammte aus neun Wochen Produktionsdaten, die vor dem Einsatz des LLM-basierten Risiko-Agenten des Unternehmens erhoben wurden, um sicherzustellen, dass die Eingriffe des Agenten selbst die beobachtbaren Betrugsergebnisse nicht verzerren würden. Die Kohorte enthielt 813 bestätigte betrügerische Transaktionen. Da der Vergleich einen definierten historischen Datensatz und ein bestimmtes Evaluationssetup verwendete, beziehen sich die Ergebnisse auf die Leistung der Modelle in diesem Benchmark und belegen nicht, dass neuere Modelle in jeder Betrugserkennungsanwendung schlechter abschneiden.

Neuere Modelle verschlechtern sich in allen drei Paaren

Die Evaluation verglich Opus 4.5 mit Opus 5, Sonnet 4.6 mit Sonnet 5 sowie GPT-5.4 mit GPT-5.6. In allen drei Paaren verzeichneten die neueren Versionen niedrigere Recall-Werte, niedrigere F1-Scores und einen niedrigeren dollar-gewichteten Recall — den Anteil des gesamten Betrugstransaktionswerts, der erfolgreich identifiziert wurde, eine Kennzahl die Coinbase als besonders wichtig für Zahlungsrisiken betrachtet.

Das Ausmaß der Verschlechterung variierte erheblich. Der Recall von Sonnet 5 fiel gegenüber Sonnet 4.6 um 22,2 Prozentpunkte, der dollar-gewichtete Recall sank um 22,9 Punkte; da sowohl Precision als auch Recall sanken, zeigte das Modell eine schwächere Gesamtfähigkeit, Betrug von legitimen Aktivitäten zu unterscheiden, und nicht nur einen einfachen Trade-off zwischen beiden. Opus 5 verzeichnete einen moderateren Recall-Rückgang von 0,8 Punkten. GPT-5.6 zeigte ein anderes Muster: Die Precision verbesserte sich um 11,5 Punkte, doch der Recall fiel um 20,7 Punkte und der dollar-gewichtete Recall um 21,8 Punkte — ein Verhalten, das mit einer konservativeren Klassifizierung vereinbar ist.

Zur Bekanntgabe der Ergebnisse auf X am 12. Oktober schrieb die Coinbase Developer Platform:

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(Beitrag auf X)

Auswirkungen auf die Modellwahl und die Reaktion von Coinbase

Coinbase wies darauf hin, dass der Benchmark eine Verschlechterung aufzeigt, ohne deren Ursache zu klären, und dass ohne Zugang zu den Trainingsdaten oder Zielen der Anbieter jede Erklärung spekulativ bleibt. Plausible Faktoren sind Verschiebungen in Entscheidungsgrenzen und Prompt-Verhalten, durch Post-Training-Prozesse eingeführte Trade-offs sowie Änderungen in der Zusammensetzung der Trainingsdaten und Aufgabenprioritäten.

Die Ergebnisse verändern den Ansatz des Unternehmens für Modell-Upgrades. Statt zu fragen, welche Version die neueste ist, argumentiert Coinbase, dass Teams prüfen sollten, ob ein Kandidat den Gesamtkompromiss zwischen Precision und Recall verbessert, ob beobachtete Unterschiede vom Modell selbst oder von Änderungen an umgebenden Prompts und Entscheidungsrichtlinien herrühren und ob das Modell die Latenz-, Zuverlässigkeits- und Kostenvorgaben für Live-Zahlungsabläufe erfüllt. In der Praxis macht das die Modellwahl zu einem operativen Evaluationsproblem: Der relevante Vergleich umfasst sowohl die Erkennungsqualität als auch die Einschränkungen des Zahlungssystems, in dem das Modell läuft.

Eine Verschiebung hin zum Modelleigentum

Die Ergebnisse motivierten eine strategische Bewegung hin zum Modelleigentum. Coinbase hat den Risikokontroll-Agenten für seinen Fiat-Einzahldienst Onramp auf Open-Weight-Modelle und domänenspezifisches Post-Training umgestellt. Laut dem dritten Teil der Serie hat das Unternehmen Qwen3.5-9B mit SkyRL auf Anyscale post-trainiert und dabei ein Modell hervorgebracht, das Opus 4.5 bei allen vier Betrugserkennungskennzahlen übertraf und gleichzeitig die End-to-End-Serving-Latenz um 55 % senkte.\nDer Ansatz baut auf früheren Ergebnissen auf: Im ersten Teil der Serie berichtete Coinbase, dass das Hinzufügen eines LLM-Review-Agenten zu seinem bestehenden Machine-Learning-Modell und Rules-Engine — implementiert, ohne das bestehende Risiko-Stack zu ersetzen — in einem Online-A/B-Experiment betrügerische Transaktionen um 30 % und den Betrugswert um 22 % reduzierte. Zusammen verweisen der Benchmark und die A/B-Ergebnisse auf zwei getrennte Evaluationsanforderungen: den Vergleich von Modellen unter kontrollierten Bedingungen und die Messung, wie ein integriertes Risikosystem im Live-Betrieb abschneidet.

Quelle: Metaverse Post