Coinbase publicó hallazgos que indican que la última generación de modelos de IA de frontera tiene un desempeño inferior al de sus predecesores en la detección de transacciones fraudulentas, un resultado que llevó al exchange de criptomonedas a orientar sus operaciones de control de riesgo hacia modelos de pesos abiertos perfeccionados con post-entrenamiento específico del dominio.

Los hallazgos se publicaron el 7 de octubre en la segunda entrega de la serie "Owning Intelligence" de Coinbase, en la que la empresa describió la evaluación de seis modelos de lenguaje de gran escala en un benchmark fijo de 16,140 transacciones de 7,293 usuarios. El conjunto de datos se extrajo de nueve semanas de datos de producción recopilados antes del despliegue del agente de riesgo impulsado por LLM de Coinbase, lo que garantiza que las propias intervenciones del agente no sesgaran los resultados de fraude observables. La cohorte contenía 813 transacciones fraudulentas confirmadas. Dado que la comparación utilizó un conjunto de datos históricos definido y una configuración de evaluación específica, sus resultados reflejan el desempeño de los modelos en ese benchmark y no establecen que los modelos más nuevos tengan un peor desempeño en todas las aplicaciones de detección de fraude.

Los modelos más nuevos registran retrocesos en los tres pares

La evaluación comparó Opus 4.5 con Opus 5, Sonnet 4.6 con Sonnet 5 y GPT-5.4 con GPT-5.6. En los tres pares, las versiones más nuevas registraron menor recall, menores puntuaciones F1 y menor recall ponderado por dólares, es decir, la proporción del valor total de las transacciones fraudulentas identificada con éxito, una métrica que Coinbase considera particularmente importante para el riesgo de pagos.

La magnitud de la regresión varió considerablemente. El recall de Sonnet 5 cayó 22.2 puntos porcentuales en relación con Sonnet 4.6, con una caída de 22.9 puntos en el recall ponderado por dólares; como tanto la precisión como el recall disminuyeron, el modelo mostró una capacidad general más débil para distinguir el fraude de la actividad legítima, en lugar de un simple intercambio entre ambas. Opus 5 mostró una caída de recall más moderada, de 0.8 puntos. GPT-5.6 siguió un patrón diferente: la precisión mejoró 11.5 puntos, pero el recall cayó 20.7 puntos y el recall ponderado por dólares 21.8, un comportamiento consistente con una clasificación más conserv.

Al anunciar los resultados en X el 12 de octubre, la Coinbase Developer Platform escribió:

As we showed in part 1 of our Owning Intelligence series, contextual LLMs can strengthen an existing risk stack. But which model should power the agent? Will upgrading to a frontier model improve its decisions? The short answer is no. More in the thread ↓ pic.twitter.com/fgG4jGCdEL

— Coinbase Developer Platform (@CoinbaseDev) October 12, 2026

(Publicación en X)

Implicaciones para la selección de modelos y la respuesta de Coinbase

Coinbase advirtió que su benchmark demuestra una regresión sin establecer su causa, y señaló que, sin acceso a los datos de entrenamiento ni a los objetivos de los proveedores, cualquier explicación sigue siendo especulativa. Los factores plausibles incluyen cambios en los límites de decisión y en el comportamiento de los prompts, los intercambios introducidos por los procesos de post-entrenamiento y las modificaciones en la composición de los datos de entrenamiento y en las prioridades de las tareas.

Los hallazgos transforman la forma en que la empresa aborda las actualizaciones de modelos. En lugar de preguntar cuál versión es la más reciente, Coinbase sostiene que los equipos deben evaluar si un candidato mejora el equilibrio general entre precisión y recall, si las diferencias observadas provienen del modelo en sí o de cambios en los prompts y políticas de decisión circundantes, y si el modelo cumple con los requisitos de latencia, confiabilidad y costos de los flujos de pago en vivo. En la práctica, esto convierte la selección de modelos en un problema de evaluación operativa: la comparación relevante incluye tanto la calidad de detección como las restricciones del sistema de pagos en el que se ejecuta el modelo.

Un giro hacia la propiedad de los modelos

Los resultados motivaron un movimiento estratégico hacia la propiedad de los modelos. Coinbase trasladó el agente de control de riesgo de su servicio de depósitos en moneda fiduciaria, Onramp, hacia modelos de pesos abiertos y post-entrenamiento específico del dominio. Según la tercera entrega de la serie, la empresa post-entrenó Qwen3.5-9B usando SkyRL en Anyscale, produciendo un modelo que superó a Opus 4.5 en las cuatro métricas de detección de fraude y redujo la latencia de servicio de extremo a extremo en 55%.

El enfoque se basa en resultados anteriores: en la Parte 1 de la serie, Coinbase reportó que añadir un agente de revisión basado en LLM a su modelo de aprendizaje automático y motor de reglas existentes, implementado sin reemplazar la infraestructura de riesgo actual, redujo las transacciones fraudulentas en 30% y el valor del fraude en 22% en un experimento A/B en línea. En conjunto, los resultados del benchmark y del experimento A/B apuntan a dos necesidades de evaluación distintas: comparar modelos en una prueba controlada y medir el desempeño de un sistema de riesgo integrado en uso real.

Fuente: Metaverse Post