Un nuevo estudio de Nvidia sugiere que los agentes de IA podrían no necesitar las ventanas de contexto cada vez más grandes que la industria ha venido construyendo, tras descubrir que los agentes que comprimen su historial en notas de traspaso cortas pueden igualar el rendimiento de historial completo en tareas complejas con una fracción del tamaño de contexto.

El estudio, titulado "You don't need long context", muestra que los agentes de IA pueden preservar la precisión al compactar periódicamente su historial de conversación en notas de traspaso concisas. Los investigadores lograron reducir el contexto de trabajo a tan solo 16,000 tokens mientras igualaban el rendimiento de los agentes que operaban con todo su historial disponible. La ventana de contexto de un modelo —el texto que puede mantener en memoria de trabajo a la vez, medido en tokens— se ha convertido en una de las especificaciones más publicitadas de la IA, con laboratorios líderes promocionando ventanas de un millón de tokens o más.

Lo que los investigadores probaron

El estudio fue escrito por Peter Belcak, Pavlo Molchanov y nueve coautores. Su enfoque son los agentes de frontera: sistemas de IA diseñados para llevar a cabo tareas largas de múltiples pasos en lugar de responder una sola pregunta.

Bajo el enfoque probado, en lugar de arrastrar toda la conversación en cada paso, el agente condensa periódicamente lo que ha ocurrido en una nota de traspaso. Cada paso posterior comienza desde cero con solo ese resumen.

El equipo aplicó el enfoque en dos modelos: Claude Opus 4.5 de Anthropic y GPT 5.6 Sol de OpenAI. Las pruebas cubrieron trece benchmarks, seis de los cuales eran tareas de largo plazo, incluidos SWE-bench Verified y Terminal-Bench 2.1.

Las cifras detrás de la afirmación

El resultado principal provino de Claude Opus 4.5 en SWE-bench Verified, un benchmark de ingeniería de software. Con una acción por contexto —es decir, el agente hace el traspaso después de cada paso—, el modelo obtuvo 70.2%. Con todo su historial disponible, obtuvo 70.0%. En otras palabras, el agente que olvidaba todo excepto sus notas rindió marginalmente mejor que el que recordaba todo.

Los investigadores también descubrieron que ajustar los parámetros de compactación podía elevar la puntuación de Opus 4.5 en esa tarea hasta 74.8%.

En todas las configuraciones, los cambios de precisión fueron generalmente modestos. Para Opus 4.5, las variaciones oscilaron entre -3.7 y +5.6 puntos frente a la línea base de historial completo. Para GPT 5.6 Sol, el rango fue de -3.3 a +4.4 puntos.

En las pruebas de compactación de una acción por contexto, el contexto máximo se redujo de 130K-200K tokens a entre 15K-37K, mientras que el contexto mediano se situó entre 7K-9K tokens.

Por qué la carrera de las ventanas de contexto puede ser la carrera equivocada

Los investigadores de Nvidia argumentan que la palanca más eficaz es cómo se gestiona el contexto, no cuánto puede retener un modelo. El estudio señala la síntesis eficiente, la lectura selectiva de información y los traspasos estructurados como formas más efectivas de manejar cargas de trabajo agentivas que simplemente meter más tokens en la ventana. Esa tesis contradice el marketing reciente de los modelos, pero tiene una lógica mecánica detrás: un agente relee todo lo que hay en su ventana en cada paso de una ejecución, por lo que cada token adicional de contexto se paga de nuevo en cada turno.

Qué significa esto para los creadores de IA y sus presupuestos

La implicación más inmediata es el costo. Según la investigación, la inferencia con contexto largo puede llegar a ser hasta 7 veces más cara para modelos que utilizan 256K tokens en comparación con los que usan 16K tokens. Dado que los proveedores de API convencionales cobran por token, esa brecha impacta directamente en la factura operativa de cualquiera que ejecute agentes a gran escala. El alcance del estudio —dos modelos de frontera en trece benchmarks— significa que sus afirmaciones son más sólidas para las tareas de ingeniería de software y de terminal de largo plazo donde fueron probadas.

Fuente: Crypto Briefing