Coinbase informó el 7 de octubre que las versiones más nuevas de tres grandes familias de modelos de IA detectaron menos pagos fraudulentos y una proporción menor del valor del fraude en una prueba histórica del filtrado de pagos de su servicio Onramp, a pesar de que la política de decisión se mantuvo sin cambios. Los hallazgos, detallados en un informe de benchmark, cuestionan la suposición de que actualizar un modelo mejora automáticamente un filtro de pagos existente.

La evaluación de la compañía reprodujo 16,140 transacciones de 7,293 usuarios, incluidas 813 transacciones confirmadas como fraudulentas. La cohorte cubrió nueve semanas antes del lanzamiento del agente de riesgo de Coinbase y conservó todos los casos de fraude madurados mientras muestreaba tráfico legítimo.

Cada modelo candidato revisó el comportamiento reciente de las transacciones bajo directrices fijas y la misma política para convertir las clasificaciones de riesgo en decisiones. Ese diseño aisló el comportamiento del modelo de decisión dentro de la configuración existente, en lugar de comparar sistemas de filtrado rediseñados. Para un operador, ese es el escenario de actualización que importa en la práctica: mantener intacto el sistema de filtrado y cambiar solo el modelo que lo sustenta.

Los modelos más nuevos rindieron peor en una repetición histórica fija

Coinbase comparó Opus 4.5 con Opus 5, Sonnet 4.6 con Sonnet 5 y GPT-5.4 con GPT-5.6 (sol). Cada versión más nueva registró menor recall, un menor puntaje combinado de precisión y recall conocido como F1, y un menor recall ponderado por dólares. El recall mide la proporción de casos de fraude que un modelo detecta, mientras que el recall ponderado por dólares mide cuánto del valor total del fraude detecta.

El recall de Sonnet cayó 22.2 puntos porcentuales y su recall ponderado por dólares disminuyó 22.9 puntos. El recall de Opus se redujo 0.8 puntos. Ambos modelos más nuevos también mostraron menor precisión, lo que significa que una proporción menor de las transacciones que marcaron como fraude eran realmente fraudulentas.

GPT ilustró por qué una sola métrica en mejora puede engañar. Su precisión subió 11.5 puntos porcentuales, pero el recall cayó 20.7 puntos y el recall ponderado por dólares cayó 21.8 puntos. Sus alertas de fraude fueron más precisas, pero más casos y valor de fraude escaparon a la detección en la repetición.

La repetición no establece pérdidas de clientes por el despliegue de esas versiones. Coinbase también dijo que pudo identificar las regresiones sin determinar su causa. Eso deja el mecanismo detrás del patrón como una pregunta abierta en el trabajo publicado, y una a seguir conforme análisis posteriores puedan abordarla.

Un experimento en línea anterior de Coinbase comparó la adición de revisión selectiva con LLM frente a los modelos y reglas existentes solamente. Ese flujo habilitado por agentes registró 30% menos transacciones fraudulentas y 22% menos valor de fraude; no comparó versiones más nuevas de modelos.

En su sección de limitaciones, los investigadores de SR-Fraud dijeron que el conjunto de datos propietario no puede ser publicado, lo que restringe la replicación independiente y la generalización. Su estudio relacionado sobre fraude en pagos apareció por primera vez el 23 de septiembre y fue revisado el 30 de septiembre, antes de los blogs de octubre.

Un caso aparte para un modelo personalizado

En una revelación del 8 de octubre, Coinbase informó que un modelo Qwen3.5-9B post-entrenado superó a Opus 4.5 en cuatro métricas de detección de fra. El F1 mejoró 9.6 puntos porcentuales y el recall ponderado por dólares aumentó 35.4 puntos. La compañía especializó el modelo usando resultados históricos de fraude y recompensas deterministas que equilibraron ejemplos fraudulentos y legítimos.

Por separado, mediciones de producción situaron la latencia mediana de extremo a extremo de solicitudes LLM en 0.683 segundos, frente a 1.515 segundos para Opus 4.5, una reducción relativa de 55%. La inferencia más rápida y la detección más fuerte en el benchmark provienen de evaluaciones distintas.

Leídas en conjunto, las dos revelaciones plantean una disyuntiva práctica para los equipos de pagos: seguir el ritmo de las actualizaciones de versiones de frontera y revalidar cada una en sus propios entornos de decisión, o especializar un modelo más pequeño en resultados históricos, como hizo Coinbase.

Para los proveedores de pagos, dijo Coinbase, la pregunta de la actualización es si un candidato mejora la cobertura de fraude en su configuración de decisión real. La compañía recomienda probar primero esa configuración, luego evaluar por separado los cambios en prompts o umbrales, ponderando la latencia, la confiabilidad y el costo junto con la calidad de detección.