Un nuovo studio di Nvidia suggerisce che gli agenti AI potrebbero non aver bisogno delle finestre di contesto sempre più ampie verso cui il settore sta puntando, dopo aver rilevato che gli agenti che comprimono la propria cronologia in brevi note di passaggio possono eguagliare le prestazioni della cronologia completa su compiti complessi utilizzando solo una frazione del contesto.

Lo studio, intitolato "You don't need long context", mostra che gli agenti AI possono preservare la precisione comprimendo regolarmente la cronologia della conversazione in concise note di passaggio. I ricercatori sono riusciti a ridurre il contesto operativo fino a 16.000 token, mantenendo le prestazioni degli agenti che operano con l'intera cronologia disponibile. La finestra di contesto di un modello—il testo che può tenere nella memoria di lavoro in un dato momento, misurato in token—è diventata una delle specifiche più publicizzate dell'AI, con i principali laboratori che vantano finestre da un milione di token o più.

Cosa hanno testato i ricercatori

Lo studio è stato firmato da Peter Belcak, Pavlo Molchanov e nove coautori. Il suo focus sono gli agenti di frontiera: sistemi AI progettati per affrontare compiti lunghi e articolati in più passaggi, anziché rispondere a una singola domanda.

Con l'approccio testato, invece di trascinare l'intera conversazione a ogni passaggio, l'agente condensa periodicamente quanto accaduto in una nota di passaggio. Ogni passaggio successivo riparte da zero con solo quel riassunto.

Il team ha applicato l'approccio a due modelli: Claude Opus 4.5 di Anthropic e GPT 5.6 Sol di OpenAI. I test hanno coperto tredici benchmark, di cui sei compiti di lungo periodo, tra cui SWE-bench Verified e Terminal-Bench 2.1.

I numeri alla base della rivendicazione

Il risultato principale è arrivato da Claude Opus 4.5 su SWE-bench Verified, un benchmark di ingegneria del software. Con un'azione per contesto—ovvero con l'agente che passa il testimone dopo ogni singolo passaggio—il modello ha ottenuto il 70,2%. Con l'intera cronologia disponibile, ha raggiunto il 70,0%. In altre parole, l'agente che dimenticava tutto tranne le sue note è riuscito marginalmente meglio di quello che ricordava tutto.

I ricercatori hanno anche scoperto che l'ottimizzazione delle impostazioni di compressione poteva portare il punteggio di Opus 4.5 su quel compito fino al 74,8%.

Attraverso le diverse configurazioni, le variazioni di precisione sono state generalmente modeste. Per Opus 4.5, gli scostamenti sono andati da -3,7 a +5,6 punti rispetto alla base con cronologia completa. Per GPT 5.6 Sol, l'intervallo è stato da -3,3 a +4,4 punti.

Nei test di compressione con un'azione per contesto, il contesto massimo è sceso da 130K-200K token a un intervallo di 15K-37K, mentre il contesto mediano si è attestato tra 7K e 9K token.

Perché la corsa alle finestre di contesto potrebbe essere la corsa sbagliata

I ricercatori di Nvidia sostengono che la leva più efficace sia la gestione del contesto, non quanto contesto un modello può contenere. Lo studio indica nella sintesi efficiente, nella lettura selettiva delle informazioni e nei passaggi strutturati modi più efficaci per gestire i carichi di lavoro agentici rispetto al semplice accumulo di più token nella finestra. Questa tesi va contro il recente marketing dei modelli, ma ha una logica meccanica alla base: un agente rilegge tutto ciò che si trova nella sua finestra a ogni passaggio di un'esecuzione, quindi ogni token extra di contesto viene pagato di nuovo a ogni turno.

Cosa significa per i costruttori di AI e i loro budget

L'implicazione più immediata riguarda i costi. Secondo la ricerca, l'inferenza con contesto lungo può costare fino a 7 volte di più per i modelli che utilizzano 256K token rispetto a quelli che ne usano 16K. Poiché i principali provider di API applicano prezzi basati sui token, questo divanto ricade direttamente sui costi operativi di chiunque esegua agenti su larga scala. L'ambito dello studio—due modelli di frontiera su tredici benchmark—significa che le sue rivendicazioni sono più solide per i compiti di ingegneria del software e di terminale di lungo periodo in cui sono stati testati.

Fonte: Crypto Briefing