Addestrare un singolo modello di IA a essere bravo in tutto è costoso. Secondo Salesforce AI Research esiste una strada più economica: addestrare prima diversi specialisti e poi riversare ciò che sanno in un unico modello.

In un preprint pubblicato il 5 novembre 2026, il team segnala che l'addestramento separato degli specialisti e la loro successiva fusione ha eguagliato le prestazioni del reinforcement learning congiunto in una configurazione combinata matematica-codice, utilizzando il 42% in meno di FLOPs totali di addestramento.

Cosa hanno testato davvero i ricercatori

L'articolo è intitolato "Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO" ed è disponibile come arXiv:2611.08453.

GRPO è l'acronimo di Group Relative Policy Optimization. È una tecnica di reinforcement learning che addestra un modello utilizzando ricompense verificabili sull'esito, ossia il modello ottiene credito quando il suo risultato può essere verificato come corretto. OPD sta per on-policy distillation. I FLOPs, ovvero le operazioni in virgola mobile, rappresentano l'unità di misura del calcolo di addestramento in tutto lo studio — un'unità rilevante perché correla strettamente con i tempi e i costi infrastrutturali di ogni esecuzione di addestramento.

Lo studio mette a confronto questi due approcci su una semplice tabella: quanta accuratezza su dati non visti ogni metodo offre per ogni unità di calcolo di addestramento spesa? I compiti su dati non visti (held-out) sono problemi esclusi dall'addestramento, quindi l'accuratezza su di essi riflette la capacità di generalizzazione e non la memorizzazione. Per rispondere a questa domanda, i ricercatori hanno misurato l'accuratezza su compiti held-out in rapporto ai FLOPs di addestramento su più domini, tra cui matematica e codice, a diverse difficoltà di compito e con diverse configurazioni di insegnante.

Il risultato principale: prima gli specialisti, poi una fusione

Il risultato più significativo riguarda quella che l'articolo chiama multi-teacher OPD. Invece di addestrare un solo modello su matematica e codice contemporaneamente con GRPO, i ricercatori hanno prima addestrato checkpoint GRPO "esperti" separati per ciascun dominio. Hanno poi distillato quegli esperti in un unico modello studente. La distillazione in questo caso significa addestrare lo studente a riprodurre gli output degli esperti, trasferendone le capacità senza rieseguire l'intero processo di RL sui domini combinati.

Nella configurazione matematica più codice, il modello studente ha raggiunto prestazioni paragonabili all'addestramento GRPO congiunto, con un costo di calcolo complessivo inferiore del 42%. L'economia è il punto: il lavoro di reinforcement learning è stato pagato una volta per ciascuno specialista, mentre lo studente fuso lo ha assorbito tramite un passaggio di distillazione che l'articolo valuta come una piccola frazione di quel costo.

La fase di fusione stessa si è rivelata economica. Secondo la ricerca, la distillazione ha rappresentato solo il 5,2% del costo di addestramento degli specialisti nel caso a due domini.

Quando la configurazione si è estesa a quattro domini, la quota della distillazione è salita all'8,0% dei FLOPs di addestramento degli specialisti.

Dove la distillazione ha mostrato limiti

Tuttavia, l'articolo non incorona la distillazione come vincitrice universale. Quando l'OPD si è affidata a insegnanti esterni post-addestrati, cioè modelli addestrati altrove anziché esperti interni, ha generalmente avuto prestazioni inferiori a GRPO sul rapporto per-FLOP. Quegli insegnanti esterni tendevano inoltre a produrre risposte dello studente più lunghe del necessario.

C'è stato però un punto positivo sul fronte degli insegnanti. Gli insegnanti self-GRPO, costruiti a partire dai checkpoint precedenti dello stesso studente, si sono dimostrati molto efficienti nel recuperare l'accuratezza su un singolo dominio. Il riassunto della ricerca descrive riduzioni dei FLOPs di distillazione fino a un fattore 50 in quella configurazione.

Perché il risultato è rilevante per i budget di addestramento dell'IA

Lo studio si inserisce in uno sforzo più ampio di Salesforce per rendere più economico il post-training dei modelli linguistici di grandi dimensioni. Si basa inoltre sullo sviluppo continuo di pipeline che utilizzano reinforcement learning con ricompense verificabili, una famiglia che include GRPO. Il post-training è la fase che modella il comportamento di un modello dopo l'addestramento di base, ed è il motivo per cui confronti come questo sull'accuratezza per FLOP attirano l'attenzione dei team che bilanciano obiettivi di capacità e budget di calcolo limitati.

I numeri a quattro domini suggeriscono scalabilità. La quota di costo della distillazione è salita dal 5,2% all'8,0% raddoppiando i domini, il che indica che la fase di fusione resta relativamente conveniente al crescere della rosa di esperti, almeno nelle configurazioni testate.

Ci sono avvertenze da tenere presenti. Si tratta di un preprint, quindi non ha ancora superato la revisione tra pari, e il dato principale del 42% deriva da un confronto specifico a due domini matematica-codice. Gli sviluppi da seguire d'ora in poi sono altrettanto concreti: la revisione tra pari formale e la verifica se il vantaggio della strategia dividi-e-fondi si confermi in domini e configurazioni oltre a quelli testati.

Il report originale è stato pubblicato da CryptoBriefing, dove è stato curato da Diego Almada Lopez.