Een nieuw onderzoeksartikel van Carnegie Mellon University stelt dat pretraining, fine-tuning en reinforcement learning kunnen verlopen als één enkel algoritme in plaats van drie afzonderlijke trainingsfasen.

De meeste foundation-modellen — de grote, algemene modellen die de basis vormen voor veel AI-systemen — worden gebouwd als een driegangenmenu: eerst pretraining, dan fine-tuning, en reinforcement learning als toetje. De studie van Carnegie Mellon suggereert dat die gangen wellicht beter op één bord kunnen worden geserveerd.

Het artikel, getiteld “Training Foundation Models with a Single Algorithm,” werd op 29 oktober 2026 geplaatst op arXiv, een preprint-server waar onderzoek vaak wordt gepubliceerd vóór formele peer review. Hoofdauteur is Yuda Song van Carnegie Mellon University, die samenwerkte met medewerkers van Johns Hopkins University en Aurora Innovation. Volgens de studie kan het samenvoegen van alle drie de soorten trainingsdata in één verenigde methode de traditionele gefaseerde aanpak verslaan.

Wat de onderzoekers precies deden

De kerngedachte is een herformulering. Het team beschouwt elke trainingsfase als maximale-waarschijnlijkheidsfitting van door het model gegenereerde data.

Die verschuiving verplaatst de belangrijkste beslissingen naar een nieuwe plek. In plaats van een starre opeenvolging van afzonderlijke fasen legt het framework de nadruk op datasamenstelling en planning. Vanuit dit perspectief wordt het verschil tussen pretraining, fine-tuning en reinforcement learning een kwestie van welke data wanneer wordt gebruikt, in plaats van welk algoritme wordt toegepast. Statische datasets — het soort dat wordt gebruikt in pretraining en supervised fine-tuning — worden samengevoegd met het datamanagement dat in reinforcement learning wordt gebruikt, en alles verloopt via één trainingsframework.

De resultaten tot nu toe

Volgens het artikel verbeterde de verenigde aanpak de afweging tussen nauwkeurigheid en rekenkracht. In de praktijk betekent dit dat de modellen meer prestatie haalden uit hetzelfde rekenbudget.

De methode presteerde ook beter dan gefaseerde training op verschillende maatstaven. Daarbij ging het om in-distribution-evaluaties, generalisatie en gereedheid voor continu leren. De onderzoekers melden eveneens dat verenigde training modellen hielp om bredere capaciteiten over veel taken te behouden.

Het framework maakt aparte infrastructuur voor elke trainingsfase overbodig, wat volgens de auteurs trainsystemen in het algemeen vereenvoudigt. De experimenten omvatten modellen met ongeveer 124 miljoen parameters en ongeveer 0,76 miljard parameters — schaalniveues ver onder die van de grootste modellen die doorgaans als foundation-modellen worden omschreven, waardoor de ondersteunende evidentie van het artikel afkomstig is van een relatief bescheiden deel van het modelspectrum.

Waarom het drie-fasenrecept überhaupt bestaat

De gefaseerde pijplijn werd de standaard omdat elke fase een eigen taak leek te vervullen. Pretraining bouwt brede kennis op, fine-tuning leert het model instructies op te volgen, en reinforcement learning stuurt het gedrag richting gewenste uitkomsten.

Het artikel van CMU daagt die scheiding rechtstreeks uit. Het wordt omschreven als de eerste openbare presentatie van een verenigd trainingsframework, ondersteund door experimenten.

De auteurs gaan nog een stap verder. zij stellen dat zo'n framework nieuwe manieren kan openen om te begrijpen hoe capaciteiten in modellen ontstaan en hoe die capaciteiten behouden blijven naarmate modellen zich ontwikkelen.

Wat dit betekent voor AI-ontwikkelaars

Per 30 oktober 2026 heeft het onderzoek geen noemenswaardige commerciële toepassingen of marktpartnerschappen opgeleverd. De discussie blijft grotendeels beperkt tot de academische gemeenschap, gericht op wat één trainingssysteem zou kunnen betekenen voor modelontwikkeling. De door de auteurs genoemde praktische implicatie voor ontwikkelaars is dat één trainingsframework de aparte systemen die nu voor elke fase worden gebouwd zou kunnen vervangen. Op dit moment blijft het werk een onderzoeksresultaat in plaats van een ingezette techniek.

Voor wie het werk volgt, volgen hieruit twee concrete ijkpunten: het artikel heeft de formele peer review nog niet doorlopen, en de gerapporteerde experimenten stoppen bij de hierboven beschreven parameterschalen. Onafhankelijke replicatie en vervolgstudies op grotere schaal zijn de zichtbare mijlpalen naarmate het onderzoek circuleert.