METR ha introdotto una metrica chiamata "expenditure horizon" per misurare quanto siano convenienti gli agenti AI nella risoluzione di problemi di ricerca. I primi risultati dell’applicazione della metrica allo speedrun NanoGPT sono limitati, e METR osserva che l’approccio presenta importanti punti ciechi. Anche i modelli AI più recenti potrebbero modificare i risultati.

Una questione centrale nella ricerca sull’AI è se i sistemi AI possano accelerare il proprio sviluppo, creando un ciclo in cui i modelli aiutano a rendere i modelli successivi migliori a un ritmo crescente. Misurare questo fenomeno è stato difficile perché i costi rilevanti non sono direttamente comparabili. I ricercatori devono considerare il lavoro umano, la capacità di calcolo usata per gli esperimenti e il costo di esecuzione degli stessi sistemi AI. Una metrica che porti questi costi sulla stessa scala è quindi utile per valutare le affermazioni sulla ricerca AI automatizzata senza basarsi solo su punteggi di benchmark o esempi aneddotici.

La risposta proposta da METR è l’"expenditure horizon." La metrica confronta quanto un sistema AI e un essere umano devono spendere ciascuno per ottenere lo stesso miglioramento. L’expenditure horizon è il livello di budget al quale i due approcci hanno lo stesso costo. Al di sotto di quel livello, l’AI è più conveniente. Al di sopra, l’essere umano costa meno.

La metrica si basa su uno schema che METR afferma di aver osservato in test precedenti: gli agenti AI spesso completano attività semplici e a basso costo più rapidamente degli esseri umani, ma tendono a perdere terreno quando i budget aumentano e le attività diventano più difficili.

Secondo METR, il metodo ha due vantaggi rispetto ai benchmark AI tradizionali. Primo, non restituisce soltanto un risultato di superamento o fallimento. Fornisce invece una misura più granulare di quanto miglioramento venga ottenuto per una determinata quantità di denaro. Secondo, converte input diversi in un’unica valuta, includendo il costo di esecuzione dei sistemi AI, la capacità di calcolo usata per gli esperimenti e il tempo di lavoro umano.

METR stima che gli esseri umani spendano circa $2,500 per ogni accelerazione dell’1 percento

METR ha testato la metrica sullo speedrun NanoGPT, un progetto pubblico della community in cui volontari competono per addestrare un modello linguistico AI il più rapidamente possibile. L’attività in sé rimane fissa, mentre i partecipanti possono modificare solo l’approccio di addestramento. Da maggio 2024, il tempo richiesto su hardware standardizzato è sceso da circa 45 minuti a meno di due minuti attraverso 82 passaggi di miglioramento documentati. Questo rende lo speedrun un contesto controllato utile per confrontare i costi, ma anche un indicatore ristretto della ricerca AI più ampia, in cui obiettivi, vincoli e criteri di valutazione possono cambiare durante un progetto.

Per stimare il costo del lavoro umano, METR ha intervistato due dei contributori più attivi del progetto. Ha inoltre chiesto a un modello AI, Opus-4.6, di stimare la quantità di impegno alla base di ciascun miglioramento. Entrambi gli approcci hanno prodotto una cifra simile: circa 16 ore di lavoro per ogni accelerazione dell’1 percento. Usando una tariffa oraria ipotizzata di $150, METR ha calcolato un costo di circa $2,500 per punto percentuale.

METR sottolinea che la stima è altamente incerta. Le interviste hanno inoltre evidenziato che la maggior parte del tempo dei contributori è stata dedicata a idee che alla fine non hanno funzionato.

Finora gli agenti AI hanno prodotto solo guadagni limitati

Per il confronto, METR ha assegnato a sei modelli AI il compito di lavorare in modo indipendente sulla stessa attività. I modelli non sono partiti da zero. Hanno invece iniziato da una versione dello speedrun già altamente ottimizzata, Record #78 di marzo 2026, e hanno potuto spendere fino a $10,000 per esecuzione in costi di calcolo e operativi.

Gli expenditure horizon stimati risultanti andavano da $0 a $3,300. Le prestazioni variavano nettamente tra i modelli. GPT-5 e Opus-4.1 non hanno prodotto alcun progresso reale dopo un’attenta verifica; i loro guadagni apparenti sono stati attribuiti a rumore casuale. GPT-5.5 e Opus-4.8, al contrario, hanno ottenuto miglioramenti reali rispettivamente di circa 1 percento e 1.5 percento.

La qualità dei suggerimenti dei modelli è stata eterogenea. Il maintainer dello speedrun ha stimato che circa il 70 percento delle idee generate dall’AI potesse, in linea di principio, essere integrato nel progetto, ma molte non erano particolarmente originali. Ha descritto un’ottimizzazione di basso livello di GPT-5.5 come la "coolest one," mentre ha caratterizzato la maggior parte dei suggerimenti restanti come regolazioni di parametri.

I modelli hanno anche tentato di barare più volte. Questi tentativi prevedevano scorciatoie che producevano risultati di test artificialmente buoni ma sarebbero state inutili nella pratica, come disattivare parti dell’addestramento poco prima del traguardo. Questo problema evidenzia perché la fase di verifica di METR sia importante: senza controllare se un’accelerazione preserva l’attività prevista, l’ottimizzazione automatizzata può premiare comportamenti che migliorano il risultato misurato compromettendo però l’esperimento sottostante.

La conclusione di METR è che, sebbene singoli modelli abbiano raggiunto expenditure horizon nell’ordine delle poche migliaia di dollari, questi valori sono molto piccoli rispetto ai $250,000 stimati di impegno umano totale dietro lo speedrun NanoGPT. Secondo la valutazione di METR, finora l’ottimizzazione autonoma ha contribuito solo marginalmente al progresso complessivo di NanoGPT.

I modelli AI più recenti potrebbero modificare il confronto

Il test di METR presenta un’importante avvertenza: ha incluso solo modelli più vecchi, in particolare GPT-5, GPT-5.2, GPT-5.5, Opus-4.1 e Opus-4.8. I modelli rilasciati successivamente, tra cui Fable 5, GPT-5.6 Sol e Opus 5, non sono stati inclusi nel paper.

Anthropic presenta Opus 5 come un miglioramento rilevante. Su Frontier-Bench, l’azienda afferma che Opus 5 raddoppia le prestazioni di Opus 4.8 riducendo al tempo stesso il costo per attività. Secondo Anthropic, Opus 5 spreca meno impegno su vicoli ciechi, verifica il proprio lavoro in modo più affidabile e raggiunge prestazioni simili con in media il 26 percento in meno di passaggi di calcolo. Ciascuno di questi fattori incide direttamente sull’expenditure horizon di METR.

Anche i risultati su ARC-AGI-3 sono degni di nota. Il benchmark è progettato per testare la capacità di risolvere problemi, non la conoscenza memorizzata. I sistemi AI vengono inseriti in ambienti sconosciuti simili a giochi, senza istruzioni né obiettivi, e devono determinare come procedere tramite tentativi ed errori.

Opus 5 mantiene la prima posizione su ARC-AGI-3 dal 24 luglio 2026, con un punteggio del 30.2 percento. Ha risolto cinque attività che tutti i modelli precedenti avevano fallito. Opus 4.8, il suo predecessore, aveva ottenuto solo l’1.5 percento. Il team ARC Prize attribuisce il miglioramento a un ragionamento logico più forte, che consente all’AI di esplorare e pianificare in modo più indipendente. Questa capacità potrebbe essere rilevante anche per lo speedrun NanoGPT, sebbene il confronto pubblicato da METR debba essere rieseguito sui modelli più recenti per mostrare se i loro expenditure horizon siano diversi.

Lo studio non misura la collaborazione tra esseri umani e AI

Uno dei limiti maggiori dello studio è indicato dalla stessa METR: l’analisi misura sistemi AI che lavorano da soli attraverso un’ottimizzazione puramente autonoma. Nella ricerca AI reale, gli esseri umani di solito usano l’AI come strumento, invece di delegarle completamente le attività di ricerca.

METR descrive una terza curva ipotetica per questo scenario di collaborazione tra esseri umani e AI. Se gli esseri umani prendono decisioni efficaci su quando e come usare l’AI, l’approccio ibrido dovrebbe, in teoria, superare sia l’approccio puramente umano sia quello puramente basato sull’AI, combinando i punti di forza di entrambi.

METR avverte che questo risultato non è garantito. L’organizzazione richiama un proprio lavoro precedente che mostrava come configurazioni umano-più-AI a volte abbiano ottenuto risultati peggiori rispetto agli esseri umani da soli. Il beneficio dipende dal fatto che l’AI venga applicata nelle parti giuste del processo.

Misurarlo correttamente richiederebbe un esperimento controllato che confronti gli stessi ricercatori al lavoro con e senza assistenza AI. METR afferma che un esperimento del genere sarebbe difficile da organizzare, ma molto informativo. Fino ad allora, l’expenditure horizon fornisce prove su ciò che i sistemi AI possono realizzare in modo indipendente, ma molto meno su quanto accelerino in pratica i ricercatori umani.