Coinbase poinformował 7 października, że nowsze wersje trzech głównych rodzin modeli AI wykryły mniej oszukańczych płatności oraz mniejszy udział wartości oszustw w historycznym teście skryningu płatności dla usługi Onramp, mimo że polityka decyzyjna pozostała bez zmian. Wyniki, opisane w raporcie z benchmarku, podważają założenie, że aktualizacja modelu automatycznie poprawia działający system skryningu płatności.

Ewaluacja firmy odtworzyła 16 140 transakcji od 7 293 użytkowników, w tym 813 potwierdzonych transakcji oszukańczych. Próba obejmowała dziewięć tygodni przed wdrożeniem agenta ryzyka i zachowała wszystkie zamknięte przypadki oszustw, próbkując jednocześnie legalny ruch.

Każdy kandydacki model analizował ostatnie zachowania transakcyjne w oparciu o stałe wytyczne i tę samą politykę przekształcania klasyfikacji ryzyka w decyzje. Taki schemat wyizolował zachowanie modelu decyzyjnego w istniejącej konfiguracji, zamiast porównywać przeprojektowane systemy skryningu. Dla operatora to właśnie scenariusz aktualizacji ma znaczenie w praktyce: system skryningu pozostaje nienaruszony, a zmienia się tylko model działający pod spodem.

Nowsze modele wypadły słabiej w stałej historycznej symulacji

Coinbase porównał Opus 4.5 z Opus 5, Sonnet 4.6 z Sonnet 5 oraz GPT-5.4 z GPT-5.6 (sol). Każda nowsza wersja uzyskała niższy recall, niższy łączny wskaźnik precyzji i kompletności zwany F1 oraz niższy ważony wartością recall. Recall mierzy odsetek wykrywanych przypadków oszustw, natomiast ważony wartością recall — jaką część łącznej wartości oszustw model wychwytuje.

Recall modelu Sonnet spadł o 22,2 punktu procentowego, a jego ważony wartością recall obniżył się o 22,9 punktu. Recall modelu Opus spadł o 0,8 punktu. Oba nowsze modele wykazały też niższą precyzję, co oznacza, że mniejszy odsetek transakcji zaklasyfikowanych jako oszustwa był nim rzeczywiście.

GPT pokazał, dlaczego pojedynczy poprawiający się wskaźnik może wprowadzać w błąd. Jego precyzja wzrosła o 11,5 punktu procentowego, ale recall spadł o 20,7 punktu, a ważony wartością recall 21,8 punktu. Jego oznaczenia oszustw były dokładniejsze, lecz w symulacji więcej przypadków i wartości oszustw uniknęło wykrycia.

Symulacja nie ustala strat klientów wynikających z wdrożenia tych wersji. Coinbase podał również, że zidentyfikował regresje bez ustalania ich przyczyny. Pozostawia to mechanizm stojący za tym wzorcem jako otwarte pytanie w opublikowanych materiałach, warte obserwacji, gdyż kolejne analizy mogą się nim zająć.

Wcześniejszy eksperyment online Coinbase porównywał dodanie selektywnego przeglądu LLM z samymi istniejącymi modelami i regułami. Ten wariant z agentem odnotował o 30% mniej transakcji oszukańczych i o 22% mniejszą wartość oszustw; nie porównywał jednak nowszych wersji modeli.

W sekcji ograniczeń badacze SR-Fraud stwierdzili, zastrzeżony zbiór danych nie może zostać udostępniony, co ogranicza niezależną replikację i uogólnianie wyników. Powiązane badanie nad oszustwami płatniczymi ukazało się po raz pierwszy 23 września i zostało zaktualizowane 30 września, przed październikowymi wpisami na blogu.

Osobny argument za modelem dedykowanym

W komunikacie z 8 października Coinbase poinformował, że dotrenowany model Qwen3.5-9B przewyższył Opus 4.5 w czterech metrykach wykrywania oszustw. F1 poprawił się o 9,6 punktu procentowego, a ważony wartością recall wzrósł o 35,4 punktu. Firma wyspecjalizowała model, wykorzystując historyczne wyniki oszustw oraz deterministyczne nagrody równoważące przykłady oszukańcze i legalne.

Oddzielnie pomiary produkcyjne wykazały medianę opóźnień żądań LLM od końca do końca na poziomie 0,683 sekundy wobec 1,515 sekundy dla Opus 4.5, czyli względną redukcję o 55%. Szybsza inferencja i lepsze wykrywanie w benchmarku pochodziły z różnych ewaluacji.

Razem oba komunikaty wyznaczają praktyczny rozdźwięk dla zespołów płatniczych: nadążać za kolejnymi wersjami modeli granicznych i ponownie walidować każdą z nich we własnych konfiguracjach decyzyjnych albo — jak zrobił Coinbase — wyspecjalizować mniejszy model na historycznych wynikach.

Dla dostawców usług płatniczych, jak podkreślił Coinbase, pytaniem przy aktualizacji jest to, czy kandydacki model poprawia pokrycie oszustw w rzeczywistej konfiguracji decyzyjnej. Firma zaleca najpierw przetestowanie takiej konfiguracji, a następnie osobną ocenę zmienionych promptów lub progów, ważąc opóźnienia, niezawodność i koszty obok jakości wykrywania.