Entraîner un seul modèle d'IA à être performant dans tous les domaines est coûteux. Salesforce AI Research estime qu'il pourrait exister une voie moins onéreuse : entraîner d'abord plusieurs spécialistes, puis transmettre leurs connaissances à un modèle unique.

Dans une prépublication diffusée le 5 novembre 2026, l'équipe rapporte que l'entraînement de spécialistes distincts, fusionnés ensuite, a égalé les performances de l'apprentissage par renforcement conjoint sur une configuration combinant mathématiques et code, tout en utilisant 42 % de FLOPs d'entraînement en moins.

Ce que les chercheurs ont réellement testé

L'article s'intitule « Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO » et est disponible sous la référence arXiv:2611.08453.

GRPO signifie Group Relative Policy Optimization. Il s'agit d'une technique d'apprentissage par renforcement qui entraîne un modèle à l'aide de récompenses vérifiables sur les résultats, c'est-à-dire que le modèle est récompensé lorsque son résultat peut être vérifié comme correct. OPD signifie distillation on-policy. Les FLOPs, ou opérations en virgule flottante, servent d'étalon de mesure du calcul d'entraînement tout au long de l'étude — un étalon important car il suit de près le temps et le coût d'infrastructure de chaque entraînement.

L'étude confronte ces deux approches sur un tableau de score simple : quelle précision sur données de test chaque méthode délivre-t-elle pour chaque unité de calcul d'entraînement dépensée ? Les tâches de test sont des problèmes exclus de l'entraînement, de sorte que la précision sur celles-ci reflète la capacité de généralisation plutôt que la mémorisation. Pour y répondre, les chercheurs ont mesuré la précision sur des tâches de test en fonction des FLOPs d'entraînement sur plusieurs domaines, dont les mathématiques et le code, à différentes difficultés de tâches et avec différentes configurations d'enseignants.

Le résultat phare : des spécialistes, puis une fusion

La découverte majeure concerne ce que l'article appelle l'OPD multi-enseignants. Au lieu d'entraîner un seul modèle sur les mathématiques et le code simultanément avec GRPO, les chercheurs ont d'abord entraîné des points de contrôle « experts » GRPO distincts pour chaque domaine. Ils ont ensuite distillé ces experts dans un seul modèle étudiant. La distillation désigne ici l'entraînement de l'étudiant pour reproduire les sorties des experts, transférant ainsi leurs capacités sans relancer le processus complet de RL sur les domaines combinés.

Dans la configuration mathématiques plus code, ce modèle étudiant a atteint des performances comparables à l'entraînement GRPO conjoint, avec une facture de calcul totale inférieure de 42 %. L'enjeu est économique : le travail d'apprentissage par renforcement a été payé une fois par spécialiste, tandis que l'étudiant fusionné l'a absorbé via une passe de distillation que l'article chiffre à une petite fraction de cette facture.

L'étape de fusion s'est avérée elle-même peu coûteuse. Selon la recherche, la distillation n'a représenté que 5,2 % du coût d'entraînement des spécialistes dans le cas à deux domaines.

Lorsque la configuration s'est étendue à quatre domaines, la part de la distillation est montée à 8,0 % des FLOPs d'entraînement des spécialistes.

Les limites de la distillation

L'article ne couronne toutefois pas la distillation comme gagnante universelle. Lorsque l'OPD s'appuyait sur des enseignants externes post-entraînés, c'est-à-dire des modèles entraînés ailleurs plutôt que par des experts internes, elle a généralement sous-performé GRPO sur une base par FLOP. Ces enseignants externes avaient également tendance à produire des réponses d'étudiants plus longues que nécessaire.

Un point positif est toutefois apparu côté enseignants. Les enseignants self-GRPO, construits à partir des points de contrôle antérieurs du propre modèle étudiant, se sont révélés très efficaces pour retrouver la précision sur un domaine unique. Le résumé de la recherche décrit des réductions des FLOPs de distillation allant jusqu'à un facteur 50 dans cette configuration.

Pourquoi ce résultat importe pour les budgets d'entraînement de l'IA

L'étude s'inscrit dans un effort plus large de Salesforce visant à rendre le post-entraînement des grands modèles de langage moins coûteux. Elle s'appuie également sur le développement continu de pipelines utilisant l'apprentissage par renforcement avec récompenses vérifiables, une famille qui inclut GRPO. Le post-entraînement est l'étape qui façonne le comportement d'un modèle après son entraînement de base, et c'est pourquoi des comparaisons de précision par FLOP comme celle-ci attirent l'attention des équipes qui arbitrent entre objectifs de performance et budgets de calcul limités.

Les chiffres à quatre domaines laissent entrevoir une évolutivité. La part de la distillation dans les coûts est passée de 5,2 % à 8,0 % lorsque les domaines ont doublé, ce qui suggère que l'étape de fusion reste relativement abordable à mesure que le nombre d'experts augmente, du moins dans les configurations testées.

Des réserves méritent d'être gardées à l'esprit. Il s'agit d'une prépublication, qui n'a pas encore fait l'objet d'une révision par les pairs, et le chiffre phare de 42 % provient d'une comparaison spécifique à deux domaines, mathématiques et code. Les développements à surveiller sont par conséquent concrets : la révision formelle par les pairs, et la question de savoir si l'avantage de la stratégie « diviser puis fusionner » se maintient dans des domaines et configurations au-delà de ceux testés.

Le rapport original a été publié par CryptoBriefing, où il a été édité par Diego Almada Lopez.