Coinbase ha riferito il 7 ottobre che le versioni più recenti di tre grandi famiglie di modelli AI hanno rilevato meno pagamenti fraudolenti e una quota minore del valore delle frodi in un test storico dello screening dei pagamenti per il suo servizio Onramp, nonostante la policy decisionale fosse rimasta invariata. I risultati, dettagliati in un report di benchmark, mettono in discussione l'assunzione che aggiornare un modello migliori automaticamente uno screener di pagamenti esistente.

La valutazione dell'azienda ha riprodotto 16.140 transazioni di 7.293 utenti, inclusi 813 casi di frode confermati. La coorte ha coperto nove settimane prima del lancio dell'agente di rischio di Coinbase, mantenendo tutti i casi di frode maturati e campionando il traffico legittimo.

Ogni modello candidato ha esaminato il comportamento transazionale recente sotto indicazioni fisse e la stessa policy per convertire le classificazioni di rischio in decisioni. Questo design ha isolato il comportamento del modello decisionale all'interno dell'assetto esistente, invece di confrontare sistemi di screening ridisegnati. Per un operatore, questo è lo scenario di aggiornamento che conta nella pratica: mantenere intatto il sistema di screening e cambiare solo il modello sottostante.

I modelli più recenti hanno reso meno in una riproduzione storica fissa

Coinbase ha confrontato Opus 4.5 con Opus 5, Sonnet 4.6 con Sonnet 5 e GPT-5.4 con GPT-5.6 (sol). Ogni versione più recente ha registrato un recall più basso, un punteggio combinato di precisione e recall noto come F1 più basso e un recall ponderato in dollari più basso. Il recall misura la quota di casi di frode che un modello rileva, mentre il recall ponderato in dollari misura quanto del valore totale delle frodi rileva.

Il recall di Sonnet è sceso di 22,2 punti percentuali e il suo recall ponderato in dollari è calato di 22,9 punti. Il recall di Opus è diminuito di 0,8 punti. Anche i due modelli più recenti hanno mostrato una precisione inferiore, il che significa che una quota minore delle transazioni segnalate come frodi erano effettivamente fraudolente.

GPT ha illustrato perché un singolo punteggio in miglioramento può trarre in inganno. La sua precisione è salita di 11,5 punti percentuali, ma il recall è sceso di 20,7 punti e il recall ponderato in dollari è calato di 21,8 punti. Le sue segnalazioni di frode erano più, eppure più casi e valore di frode sono sfuggiti al rilevamento nella riproduzione.

La riproduzione non stabilisce le perdite dei clienti derivanti dall'implementazione di quelle versioni. Coinbase ha anche dichiarato di aver identificato le regressioni senza determinarne la causa. Questo lascia il meccanismo alla base del modello una questione aperta nel lavoro pubblicato, e una da seguire mentre eventuali analisi successive potrebbero affrontarla.

Il precedente esperimento online di Coinbase aveva confrontato l'aggiunta di una revisione selettiva LLM con i soli modelli e regole esistenti. Quel flusso abilitato agli agenti ha registrato il 30% in meno di transazioni fraudolente e il 22% in meno di valore delle frodi; non ha confrontato versioni più recenti dei modelli.

Nella sezione sulle limitazioni, i ricercatori di SR-Fraud hanno dichiarato che il dataset proprietario non può essere rilasciato, limitando la replicazione indipendente e la generalizzazione. Il loro studio correlato sulle frodi nei pagamenti è apparso per la prima volta il 23 settembre ed è stato revisionato il 30 settembre, prima dei blog di ottobre.

Un caso separato per un modello personalizzato

In un annuncio dell'8 ottobre, Coinbase ha riferito che un modello Qwen3.5-9B post-addestrato ha superato Opus 4.5 su quattro metriche di rilevamento delle frodi. L'F1 è migliorato di 9,6 punti percentuali e il recall ponderato in dollari è salito di 35,4 punti. L'azienda ha specializzato il modello utilizzando esiti storici di frode e ricompense deterministiche che bilanciavano esempi fraudolenti e legittimi.

Separatamente, le misurazioni in produzione hanno posto la latenza mediana end-to-end delle richieste LLM a 0,683 secondi, contro 1,515 secondi per Opus 4.5, una riduzione relativa del 55%. L'inferenza più rapida e il rilevamento più forte nel benchmark provengono da valutazioni diverse.

Letti insieme, i due annunci delineano un bivio pratico per i team di pagamenti: seguire gli aggiornamenti delle versioni frontier e rivalidare ciascuno all'interno dei propri assetti decisionali, oppure specializzare un modello più piccolo sugli esiti storici, come ha fatto Coinbase.

Per i fornitori di pagamenti, ha detto Coinbase, la domanda sull'aggiornamento è se un candidato migliora la copertura delle frodi nel loro effettivo assetto decisionale. L'azienda raccomanda di testare prima quella configurazione, poi di valutare separatamente prompt o soglie modificate, pesando latenza, affidabilità e costo insieme alla qualità del rilevamento.