Coinbase AI-agent presteert beter dan Anthropic's Opus 4.5 in fraudedetectietests
Belangrijkste punten
- •De AI-agent verminderde frauduleuze transacties met 30% en de frauduleuze transactiewaarde met 22% tijdens een online experiment op Coinbase's Onramp-dienst.
- •Coinbase-ingenieurs verfijnden het negen miljard parameters tellende open-weight Qwen3.5-9B-model met bedrijfseigen interne fraudegegevens, waarbij training op één grafische processor minder dan $100 kostte.
- •In door het bedrijf uitgevoerde tests met 16.140 transacties van 7.293 gebruikers en 813 bevestigde fraudegevallen verbeterde het aangepaste model zijn F1-score met 9,6 procentpunten ten opzichte van Anthropic's Opus 4.5 en behaalde het een 55% lagere mediane responstijd van 0,683 seconden per verzoek.
- •Het model geeft alleen risicoclassificaties terug, terwijl toepassingscode de uiteindelijke transactiebeslissingen neemt, en Coinbase zei dat voortdurende tests nodig zijn naarmate fraudepatronen veranderen.
- •CEO Brian Armstrong suggereerde dat de resultaten een breder patroon weerspiegelen waarin open-weight modellen die zijn verfijnd met bedrijfseigen gegevens frontier-systemen kunnen overtreffen bij smalle, gespecialiseerde taken tegen lagere kosten en hogere snelheid.

Coinbase zei dat zijn speciaal gebouwde AI Agent beter presteerde dan een toonaangevend commercieel AI-systeem bij fraudedetectie en aanzienlijk sneller reageerde bij betalingscontroles, waarbij frauduleuze transacties met 30% daalden en de frauduleuze transactiewaarde met 22% daalde tijdens tests op de Onramp-dienst van het bedrijf.
De agent is gebouwd op Qwen3.5-9B, een open-weight model dat Coinbase-ingenieurs hebben verfijnd met bedrijfseigen interne transactiegegevens. Chief Executive Brian Armstrong besprak de resultaten op 12 oktober, na een driedelige technische reeks die het bedrijf de week ervoor had gepubliceerd.
"We were able to fine tune an open weight model (Qwen3.5-9B) on proprietary internal data at @coinbase , and it out performed frontier models, at much lower cost and speed, for a specialized task (fraud prevention in this case). I think we'll see more of this pattern inside… pic.twitter.com/x1gort3N6P"
— Brian Armstrong (@brian_armstrong) October 11, 2026
In de post suggereerde Armstrong dat de uitkomst wijst op een breder patroon waarin open-weight modellen die zijn verfijnd met bedrijfseigen gegevens frontier-systemen kunnen verslaan bij smalle, gespecialiseerde taken tegen lagere kosten en hogere snelheid.
AI-reviewer vermindert Onramp-fraude
Coinbase voegde de AI-reviewer in eerste instantie toe naast de bestaande frauderegels en machine-learningcontroles op Onramp, de dienst van het bedrijf voor het kopen van cryptocurrency met fiatgeld. In een online experiment registreerde het bedrijf 30% minder frauduleuze transacties en een daling van 22% in frauduleuze transactiewaarde.
In plaats van elke betaling afzonderlijk te beoordelen, controleerde de agent reeksen van recente betalingen om verdachte activiteit vast te stellen. Zo kon het een betaling stopzetten die eerdere controles had doorstaan, al had het geen toestemming om een bestaande blokkade ongedaan te maken. Het model gaf alleen risicoclassificaties terug, terwijl toepassingscode de uiteindelijke transactiebeslissingen nam — een constructie die het bedrijf zegde de transactiebeveiliging te versterken en duidelijke grenzen te stellen aan geautomatiseerde fraudepreventiebeslissingen.
Interne tests ondersteunen kleiner verfijnd model
Coinbase vergeleek verschillende modellen met een testset van 16.140 transacties van 7.293 gebruikers, waaronder 813 bevestigde fraudegevallen. Het bedrijf constateerde dat sommige nieuwere algemene modellen meer fraude misten, ondanks verbeteringen in de nauwkeurigheid van de transacties die ze markeerden.
Daarna pasten ingenieurs Qwen3.5-9, een open-weight model met negen miljard parameters, aan met behulp van Coinbase's historische frauderecords. Volgens het rapport van het bedrijf verliep de training op één grafische processor en kostte minder dan $100.
Ten opzichte van Anthropic's Opus 4.5 verbeterde het aangepaste model zijn F1-score met 9,6 procentpunten. Coinbase meldde ook een 55% lagere mediane responstijd, waarbij het model 0,683 seconden per verzoek nodig had, tegenover 1,515 seconden voor het commerciële systeem, op basis van productiemetingen.
De bevindingen komen van door het bedrijf uitgevoerde tests en niet van een onafhankelijke beoordeling van hoe de modellen presteren op andere betaalplatformen. De gerapporteerde vergelijking is daarom specifiek voor Coinbase's transactiecontroleworkflow en testomstandigheden, en geen algemene ranglijst van de modellen.
Duidelijke grenzen aan geautomatiseerde beslissingen
Coinbase zei dat het model voortdurende tests vereist naarmate fraudepatronen veranderen, waarbij bestaande toepassingsregels bepalen hoe het systeem handelt. Deze aanpak sluit aan bij een waarschuwing van beveiligingsbedrijf CertiK vorige week dat autonome agenten duidelijke grenzen en menselijke verantwoordingsplicht nodig hebben. Voor het door Coinbase beschreven systeem zal het monitoren van de effectiviteit van classificaties bij veranderende fraudepatronen daarom deel blijven uitmaken van het beheer van de tool naast die toepassingsregels.
Het gebruik van gespecialiseerde AI voor fraudepreventie valt samen met de verkenning van andere beveiligingstoepassingen door blockchain-ontwikkelaars. Een door AI ondersteunde ontdekking van een XRP Ledger-fout leidde onlangs tot een oplossing voor een kwetsbaarheid die ongeautoriseerde tokencreatie mogelijk had kunnen maken. Daarnaast riep Vitalik Buterin's waarschuwing over AI en portemonbeveiliging zorgen op dat geavanceerde systemen ook bestaande cryptografische beschermingen kunnen bedreigen, terwijl een phishing-incident rond Coldcard's sociale account liet zien dat cryptobeveiliging ook wordt bedreigd buiten transactiefraude.