Eén AI-model trainen dat in alles goed is, is duur. Salesforce AI Research zegt dat er mogelijk een goedkopere route bestaat: train eerst verschillende specialisten en giet vervolgens wat zij weten in één enkel model.

In een preprint die op 5 november 2026 werd gepubliceerd, meldt het team dat het apart trainen van specialisten en deze daarna samenvoegen dezelfde prestaties leverde als gezamenlijke reinforcement learning in een gecombineerde wiskunde-en-code-opstelling, met 42% minder totale trainings-FLOPs.

Wat de onderzoekers precies hebben getest

Het artikel heet "Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO" en is gepubliceerd als arXiv:2611.08453.

GRPO staat voor Group Relative Policy Optimization. Het is een reinforcement learning-techniek die een model traint met verifieerbare uitkomstbeloningen, wat betekent dat het model krediet krijgt wanneer het resultaat als correct kan worden gecontroleerd. OPD staat voor on-policy distillatie. FLOPs, of floating-point operations, dienen in de studie als maatstaf voor de rekenkracht tijdens training — een maatstaf die ertoe doet omdat deze sterk correleert met de tijd en infrastructuurkosten achter elke trainingsrun.

De studie zet deze twee benaderingen tegenover elkaar op een eenvoudig scorebord: hoeveel nauwkeurigheid op niet-getrainde taken levert elke methode op per eenheid bestede trainingsrekenkracht? Held-out taken zijn problemen die buiten de training worden gehouden, zodat nauwkeurigheid daarop generalisatie weerspiegelt in plaats van uit het hoofd leren. Om dat te beantwoorden, maten de onderzoekers de nauwkeurigheid op held-out taken tegenover trainings-FLOPs over meerdere domeinen, waaronder wiskunde en code, bij verschillende taakmoeilijkheden en met verschillende teacher-opstellingen.

De hoofduitkomst: eerst specialisten, dan een samenvoeging

De opvallende bevinding betreft wat het artikel multi-teacher OPD noemt. In plaats van één model tegelijkertijd op wiskunde en code te trainen met GRPO, trainden de onderzoekers eerst afzonderlijke GRPO-"expert"-checkpoints per domein. Vervolgens destilleerden zij die experts in één studentmodel. Distillatie betekent hier dat de student wordt getraind om de outputs van de experts te reproduceren, waarbij hun capaciteit wordt overgedragen zonder het volledige RL-proces op de gecombineerde domeinen te herhalen.

In de wiskunde-plus-code-opstelling bereikte dat studentmodel prestaties vergelijkbaar met gezamenlijke GRPO-training, met een totale rekenrekening die 42% lager was. De economie is het kernpunt: het reinforcement learning-werk werd één keer per specialist betaald, terwijl de samengevoegde student het opnam via een distillatiepass die het artikel prijst op een kleine fractie van die rekening.

De samenvoegstap zelf bleek goedkoop. Volgens het onderzoek vormde distillatie slechts 5,2% van de kosten van het trainen van de specialisten in het geval met twee domeinen. Toen de opstelling werd uitgebreid naar vier domeinen, steeg het aandeel van distillatie naar 8,0% van de specialistentrainings-FLOPs.

Waar distillatie tekortschoot

Het artikel kroont distillatie echter niet tot algemene winnaar. Wanneer OPD afhankelijk was van externe post-trained teachers, dus modellen die elders waren getraind in plaats van interne experts, presteerde het over het algemeen slechter dan GRPO per FLOP. Die externe teachers brachten de antwoorden van de student bovendien vaak langer dan noodzakelijk.

Er was wel een lichtpuntje aan de teacher-kant. Self-GRPO teachers, gebouwd op basis van eerdere checkpoints van de student zelf, bleken zeer efficiënt in het herstel van nauwkeurigheid binnen één domein. De onderzoeksamenvatting beschrijft een vermindering van distillatie-FLOPs met een factor tot welk 50 in die opstelling.

Waarom de uitkomst belangrijk is voor AI-trainingsbudgetten

De studie past in een bredere inspanning van Salesforce om de post-training van grote taalmodellen goedkoper te maken. Ook bouwt zij voort op de doorlopende ontwikkeling van pipelines die reinforcement learning met verifieerbare beloningen gebruiken, een familie waar GRPO toe behoort. Post-training is de fase die het gedrag van een model vormgeeft na de basistraining, en dat is waarom vergelijkingen van nauwkeurigheid per FLOP zoals deze de aandacht trekken van teams die capaciteitsdoelen afwegen tegen eindige rekenbudgetten.

De cijfers met vier domeinen duiden op schaalbaarheid. Het kostenandeel van distillatie steeg van 5,2% naar 8,0% toen de domeinen verdubbelden, wat suggereert dat de samenvoegstap relatief betaalbaar blijft naarmate het aantal experts groeit, althans binnen de geteste configuraties.

Er zijn kanttekeningen om in acht te nemen. Dit is een preprint, dus deze is nog niet door peer review gegaan, en de kopcijfer van 42% komt uit een specifieke vergelijking met twee domeinen (wiskunde en code). De ontwikkelingen die van hieruit het ontzien waard zijn, zijn dienovereenkomstig concreet: formele peer review, en of het voordeel van eerst-splitsen-dan-samenvoegen standhoudt in domeinen en configuraties buiten de geteste omstandigheden.

Het originele bericht werd gepubliceerd door CryptoBriefing, waar het werd geredigeerd door Diego Almada Lopez.