Coinbase ha pubblicato risultati che indicano come l'ultima generazione di modelli AI frontier ottenga prestazioni peggiori rispetto ai predecessori nel rilevamento delle transazioni fraudolente — un esito che ha spinto l'exchange di criptovalute a orientare le proprie operazioni di controllo del rischio verso modelli open-weight perfezionati con post-training specifico per dominio.

I risultati sono stati pubblicati il 7 ottobre nel secondo capitolo della serie “Owning Intelligence” di Coinbase, in cui l'azienda ha descritto la valutazione di sei modelli linguistici di grandi dimensioni su un benchmark fisso di 16.140 transazioni riguardanti 7.293 utenti. Il dataset è stato ricavato da nove settimane di dati di produzione raccolti prima del dispiegamento del risk agent di Coinbase basato su LLM, garantendo che gli interventi dello stesso agente non falsassero i risultati osservabili delle frodi. Il campione conteneva 813 transazioni fraudolente confermate. Poiché il confronto ha utilizzato un dataset storico definito e una specifica configurazione di valutazione, i suoi risultati riguardano le prestazioni dei modelli in quel benchmark e non dimostrano che i modelli più recenti siano peggiori in ogni applicazione di rilevamento delle frodi.

I modelli più recenti regredirono in tutte e tre le coppie

La valutazione ha confrontato Opus 4.5 con Opus 5, Sonnet 4.6 con Sonnet 5 e GPT-5.4 con GPT-5.6. In tutte e tre le coppie, le versioni più recenti hanno registrato un recall inferiore, punteggi F1 più bassi e un recall ponderato in valore inferiore — ovvero la quota del valore totale delle transazioni fraudolente identificata con successo, una metrica che Coinbase ritiene particolarmente importante il rischio nei pagamenti.

L'entità della regressione è variata considerevolmente. Il recall di Sonnet 5 è calato di 22,2 punti percentuali rispetto a Sonnet 4.6, con il recall ponderato in valore in ribasso di 22,9 punti; poiché sia la precision sia il recall sono diminuiti, il modello ha mostrato una capacità complessiva più debole di distinguere le frodi dalle attività legittime, anziché un semplice trade-off tra le due. Opus 5 ha mostrato un calo di recall più contenuto, pari a 0,8 punti. GPT-5.6 ha seguito uno schema diverso: la precision è migliorata di 11,5 punti, ma il recall è sceso di 20,7 punti e il recall ponderato in valore di 21,8 — un comportamento coerente con una classificazione più conservativa.

Annunciando i risultati su X il 12 ottobre, la Coinbase Developer Platform ha scritto:

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(Post su X)

Implicazioni per la selezione dei modelli e la risposta di Coinbase

Coinbase ha precisato che il suo benchmark dimostra una regressione senza stabilirne la causa, osservando che, senza accesso ai dati di addestramento o agli obiettivi dei fornitori, qualsiasi spiegazione resta speculativa. I fattori plausibili includono spostamenti nei confini decisionali e nel comportamento dei prompt, trade-off introdotti dai processi di post-training e cambiamenti nella composizione dei dati di addestramento e nelle priorità dei compiti.

I risultati ridisegnano l'approccio dell'azienda agli aggiornamenti dei modelli. Piuttosto che chiedersi quale versione sia la più recente, Coinbase sostiene che i team dovrebbero valutare se un candidato migliori il trade-off complessivo tra precision e recall, se le differenze osservate derivano dal modello stesso o da modifiche ai prompt e alle politiche decisionali circostanti, e se il modello soddisfa i requisiti di latenza, affidabilità e costo dei flussi di pagamento reali. In pratica, questo rende la selezione dei modelli un problema di valutazione operativa: il confronto rilevante include sia la qualità del rilevamento sia i vincoli del sistema di pagamento in cui il modello opera.

Un passaggio verso la proprietà dei modelli

I risultati hanno motivato una mossa strategica verso la proprietà dei modelli. Coinbase ha spostato il risk agent del suo servizio di deposito in valuta fiat, Onramp, verso modelli open-weight e post-training specifico per dominio. Secondo il terzo capitolo della serie, l'azienda ha post-adstrato Qwen3.5-9B utilizzando SkyRL su Anyscale, ottenendo un modello che ha superato Opus 4.5 su tutte e quattro le metriche di rilevamento delle frodi, riducendo al contempo la latenza end-to-end di serving del 55%.

L'approccio si basa su risultati precedenti: nel primo capitolo della serie, Coinbase aveva riferito che l'aggiunta di un agente di revisione basato su LLM al proprio modello di machine learning e motore di regole esistente — dispiegata senza sostituire l'attuale stack di rischio — aveva ridotto le transazioni fraudolente del 30% e il valore delle frodi del 22% in un esperimento A/B online. Insieme, i risultati del benchmark e dell'esperimento A/B indicano due esigenze di valutazione distinte: confrontare i modelli in un test controllato e misurare le prestazioni di un sistema di rischio integrato nell'uso reale.

Fonte: Metaverse Post