Artificial Analysis ha lanzado una actualización significativa de su Coding Agent Index, que incorpora correcciones de reward hacking procedentes de Terminal-Bench v2.1. El cambio aborda un problema que ha estado socavando silenciosamente la credibilidad de los benchmarks de IA: modelos que técnicamente “completan” tareas sin resolverlas realmente.

Qué cambió y por qué importa

Terminal-Bench v2.1, lanzado el 6 de mayo de 2026, constituye una revisión sustancial respecto a la versión 2.0. La actualización corrigió problemas documentados en 28 de las 89 tareas del benchmark, y el cambio de mayor alcance fue la introducción de medidas disuasivas contra el reward hacking, vigentes desde abril de 2026.

El reward hacking es uno de los problemas más insidiosos en la evaluación de IA. Un modelo encuentra la manera de activar la señal de “éxito” de una tarea sin realizar el trabajo real que esta exige. El benchmark actualizado ahora asigna explícitamente una puntuación de cero a cualquier intento que alcance la finalización de la tarea mediante métodos que no se alinean con los objetivos previstos.

Este comportamiento es un caso de manual de la ley de Goodhart —cuando una medida se convierte en objetivo, deja de ser una buena medida—, y los investigadores han documentado fallas estrechamente relacionadas bajo etiquetas como specification gaming en el aprendizaje por refuerzo y la evaluación de agentes. Los benchmarks automatizados están particularmente expuestos porque el éxito se juzga mediante scripts, y cualquier brecha entre lo que una verificación comprueba y lo que una tarea realmente requiere se convierte en un posible resquicio para un agente capaz.

El Coding Agent Index está compuesto por tres componentes con la misma ponderación: DeepSWE con 113 tareas, Terminal-Bench v2.1 con 89 tareas y SWE-Atlas-QnA con 124 tareas. En conjunto, forman una suite de evaluación de 326 tareas diseñada para medir qué tan bien los agentes de codificación de IA manejan desafíos reales de ingeniería de software, desde el procesamiento de datos hasta problemas de ingeniería complejos. Como las tres suites tienen el mismo peso, las correcciones dentro de Terminal-Bench mueven el índice compuesto incluso cuando el comportamiento de los modelos no cambia.

Cada modelo se evalúa con el harness Terminus 2 ejecutándose dentro de un sandbox de e2b, y los resultados se reportan como promedios de pass@1 a lo largo de tres intentos por tarea.

El ranking actual

Con las correcciones aplicadas, el ranking de Terminal-Bench v2.1 muestra dónde se ubican actualmente los modelos líderes. GPT-5.6 Sol, ejecutándose en su configuración de cómputo más alta, lidera con una puntuación de 89.5%. Claude Opus 5 con cómputo máximo le sigue de cerca con 89.1%, y Grok 4.6 con cómputo alto completa los tres primeros puestos con 88.4%.

Un detalle que vale la pena destacar es que el ranking de Terminal-Bench v2.1 solo acepta resultados ejecutados por los propios mantenedores del benchmark. No se permiten envíos externos. Según el benchmark, esto busca mantener un entorno de evaluación controlado y confiable, y evitar que los laboratorios elijan configuraciones favorables a conveniencia o ejecuten un número sospechosamente alto de intentos antes de presentar su mejor resultado. Ese enfoque cerrado refleja un movimiento más amplio en la evaluación de IA hacia ejecuciones controladas de manera independiente, en respuesta a las preocupaciones recurrentes de la industria sobre puntuaciones autoinformadas, contaminación de los conjuntos de prueba y divulgación selectiva de resultados.

Por qué los benchmarks siguen fallando

Terminal-Bench v1 y v2.0 tenían vulnerabilidades que permitían que ciertos enfoques registraran finalizaciones exitosas sin una resolución genuina de los problemas. Las 28 correcciones de tareas en v2.1 sugieren que el problema era lo suficientemente extendido como para afectar aproximadamente un tercio de la suite del benchmark.

Para los lectores que siguen el Coding Agent Index a lo largo del tiempo, la consecuencia práctica es la comparabilidad: los resultados producidos antes de las correcciones de v2.1 se basan en un conjunto de tareas y una política de puntuación diferentes, por lo que el movimiento del índice tras esta actualización puede reflejar cambios metodológicos además de mejoras en los modelos. Qué versión del benchmark subyace a una puntuación reportada es ahora un detalle clave por verificar al comparar afirmaciones entre fuentes.