Coinbase opublikował wyniki wskazujące, że najnowsza generacja granicznych modeli AI radzi sobie gorzej niż jej poprzednicy w wykrywaniu oszukańczych transakcji — wynik, który skłonił giełdę kryptowalut do skierowania jej operacji kontroli ryzyka w stronę modeli o otwartych wagach doszkolonych w sposób domenowy.

Wyniki ukazały się 7 października w drugiej części serii Coinbase „Owning Intelligence”, w której firma opisała ocenę sześciu dużych modeli językowych na stałym benchmarku obejmującym 16 140 transakcji od 7 293 użytkowników. Zbiór danych pochodził z dziewięciu tygodni danych produkcyjnych zebranych przed wdrożeniem agenta ryzyka opartego na LLM firmy Coinbase, co zapewniało, że własne interwencje agenta nie zaburzą obserwowanych wyników dotyczących oszustw. W grupie znalazło się 813 potwierdzonych oszukańczych transakcji. Ponieważ porównanie wykorzystywało zdefiniowany historyczny zbiór danych i określoną konfigurację ewaluacyjną, jego wyniki odnoszą się do wydajności modeli w tym benchmarku, a nie dowodzą że nowsze modele radzą sobie gorzej w każdej aplikacji wykrywania oszustw.

Nowsze modele notują regresję we wszystkich trzech parach

Ewaluacja porównywała Opus 4.5 z Opus 5, Sonnet 4.6 z Sonnet 5 oraz GPT-5.4 z GPT-5.6. We wszystkich trzech parach nowsze wersje zanotowały niższy recall, niższe wyniki F1 i niższy ważony kwotowo recall — czyli udział całkowitej wartości oszukańczych transakcji skutecznie zidentyfikowanej, wskaźnik, który Coinbase uważa za szczególnie istotny dla ryzyka płatniczego.

Skala regresji była bardzo zróżnicowana. Recall modelu Sonnet 5 spadł o 22,2 punktu procentowego względem Sonnet 4.6, a ważony kwotowo recall obniżył się o 22,9 punktu; ponieważ zarówno precyzja, jak i recall spadły, model wykazał słabszą ogólną zdolność odróżniania oszustw od legalnej aktywności, a nie prosty kompromis między tymi dwiema miarami. Opus 5 wykazał bardziej umiarkowany spadek recall o 0,8 punktu. GPT-5.6 poszedł innym torem: precyzja poprawiła się o 11,5 punktu, ale recall spadł o 20,7 punktu, a ważony kwotowo recall o 21,8 — zachowanie spójne z bardziej konserwatywną klasyfikacją.

Ogłaszając wyniki na X 12 października, Coinbase Developer Platform napisał:

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(Post na X)

Wnioski dla wyboru modeli i reakcja Coinbase

Coinbase zastrzegł, że jego benchmark wykazuje regresję bez ustalenia jej przyczyny, zauważając, że bez dostępu do danych treningowych i celów dostawców każde wyjaśnienie pozostaje spekulatywne. Prawdopodobne czynniki obejmują przesunięcia granic decyzyjnych i zachowań związanych z promptami, kompromisy wprowadzone przez procesy doszkolenia oraz zmiany w składzie danych treningowych i priorytetach zadań.

Wyniki zmieniają sposób, w jaki firma podchodzi do aktualizacji modeli. Zamiast pytać, które wydanie jest najnowsze, Coinbase argumentuje, że zespoły powinny oceniać, czy kandy poprawia ogólny kompromis między precyzją a recall, czy obserwowane różnice wynikają z samego modelu czy ze zmian otaczających promptów i polityk decyzyjnych oraz czy model spełnia wymagania dotyczące opóźnień, niezawodności i kosztów w działających przepływach płatniczych. W praktyce czyni to wybór modelu problemem oceny operacyjnej: istotne porównanie obejmuje zarówno jakość wykrywania, jak i ograniczenia systemu płatniczego, w którym model działa.

Zwrot w kierunku posiadania modeli

Wyniki skłoniły do strategicznego kroku w kierunku posiadania modeli. Coinbase przeniósł agenta kontroli ryzyka dla swojej usługi depozytów fiducjarnych, Onramp, w stronę modeli o otwartych wagach i domenowego doszkolenia. Zgodnie z trzecią częścią serii firma doszkoliła Qwen3.5-9B przy użyciu SkyRL na Anyscale, uzyskując model, który przewyższył Opus 4.5 pod względem wszystkich czterech metryk wykrywania oszustw, skracając jednocześnie end-to-end opóźnienia serwowania o 55%.

To podejście bazuje na wcześniejszych wynikach: w pierwszej części serii Coinbase poinformował, że dodanie agenta przeglądowego opartego na LLM do istniejącego modelu uczenia maszynowego i silnika reguł — wdrożone bez zastępowania istniejącego stosu kontroli ryzyka — zmniejszyło liczbę oszukańczych transakcji o 30%, a wartość oszustw o 22% w internetowym eksperymencie A/B. Razem wyniki benchmarku i eksperymentu A/B wskazują na dwie odrębne potrzeby ewaluacyjne: porównywanie modeli w kontrolowanym teście oraz mierzenie, jak zintegrowany system kontroli ryzyka działa w rzeczywistym użyciu.

Źródło: Metaverse Post