Ein einzelnes KI-Modell für alles zu trainieren ist teuer. Salesforce AI Research sieht einen möglicherweise günstigeren Weg: zunächst mehrere Spezialisten zu trainieren und dann ihr Wissen in ein einzelnes Modell zu überführen.

In einem am 5. November 2026 veröffentlichten Preprint berichtet das Team, dass das separate Training von Spezialisten und deren anschließende Zusammenführung in einem kombinierten Mathematik-und-Code-Setup die Leistung des gemeinsamen Reinforcement Learnings erreichte – bei 42 % weniger gesamten Trainings-FLOPs.

Was die Forscher tatsächlich getestet haben

Die Studie trägt den Titel "Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO" und ist unter arXiv:2611.08453 veröffentlicht.

GRPO steht für Group Relative Policy Optimization. Es handelt sich um eine Reinforcement-Learning-Technik, die ein Modell mit überprüfbaren Ergebnis-Belohnungen trainiert, d. h. das Modell erhält Anerkennung, wenn sein Ergebnis als korrekt verifiziert werden kann. OPD steht für On-Policy-Destillation. FLOPs, also Fließkommaoperationen, dienen in der gesamten Studie als Maßstab für den Trainings-Compute – ein Maßstab, der Bedeutung hat, weil er eng mit dem Zeit- und Infrastrukturaufwand hinter jedem Trainingslauf zusammenhängt.

Die Studie stellt die beiden Ansätze auf einer einfachen Skala gegeneinander: Wie viel Genauigkeit auf zurückgehaltenen Aufgaben liefert jede Methode pro Einheit des ausgegebenen Trainings-Computes? Zurückgehaltene Aufgaben sind Probleme, die vom Training ausgeschlossen sind, sodass ihre Genauigkeit Generalisierung statt Auswendiglernen widerspiegelt. Zur Beantwortung maßen die Forscher die Genauigkeit auf zurückgehaltenen Aufgaben im Verhältnis zu den Trainings-FLOPs über mehrere Domainen hinweg, darunter Mathematik und Code, bei unterschiedlichen Aufgabenschwierigkeiten und verschiedenen Lehrer-Konfigurationen.

Das zentrale Ergebnis: Erst Spezialisten, dann eine Zusammenführung

Der herausragende Befund betrifft das, was die Studie als Multi-Teacher-OPD bezeichnet. Statt ein Modell gleichzeitig mit GRPO auf Mathematik und Code zu trainieren, bildeten die Forscher zunächst separate GRPO-"Experten"-Checkpoints für jede Domäne. Anschließend destillierten sie diese Experten in ein einzelnes Student-Modell. Destillation bedeutet hier, den Studenten darauf zu trainieren, die Ausgaben der Experten zu reproduzieren und deren Fähigkeiten zu übernehmen, ohne den vollständigen RL-Prozess auf den kombinierten Domainen erneut durchzuführen.

Im Mathematik-plus-Code-Setup erreichte das Student-Modell eine Leistung, die dem gemeinsamen GRPO-Training vergleichbar war – mit einer um 42 % niedrigeren Gesamt-Compute-Rechnung. Die Ökonomie ist der Kernpunkt: Die Reinforcement-Learning-Arbeit wurde pro Spezialisten nur einmal bezahlt, während das zusammengeführte Student-Modell sie über einen Destillationsdurchlauf übernahm, den die Studie als Bruchteil dieser Rechnung beziffert.

Der Zusammenführungsschritt selbst erwies sich als günstig. Laut der Forschung machte die Destillation im Zwei-Domainen-Fall nur 5,2 % der Kosten des Spezialistentrainings aus. Als das Setup auf vier Domainen erweitert wurde, stieg der Anteil der Destillation auf 8,0 % der FLOPs des Spezialistentrainings.

Wo die Destillation schwächelte

Die Studie kürt die Destillation jedoch nicht zum universellen Gewinner. Wenn OPD auf externe nachtrainierte Lehrer-Modelle angewiesen war – also Modelle, die anderswo trainiert wurden statt firmeneigener Experten –, schnitt sie pro FLOP im Allgemeinen schlechter ab als GRPO. Diese externen Lehrer neigten zudem dazu, die Antworten der Studenten unnötig lang zu machen.

Auf der Lehrer-Seite gab es jedoch einen Lichtblick. Self-GRPO-Lehrer, die aus früheren Checkpoints des Studenten selbst aufgebaut wurden, erwiesen sich als hocheffizient bei der Wiederherstellung der Genauigkeit in einer einzelnen Domäne. Die Forschungszusammenfassung beschreibt in diesem Szenario Reduktionen der Destillations-FLOPs um bis zu Faktor 50.

Warum das Ergebnis für KI-Trainingsbudgets relevant ist

Die Studie fügt sich in einen breiteren Einsatz von Salesforce, um die Nachtrainierung großer Sprachmodelle günstiger zu machen. Sie baut zudem auf der laufenden Entwicklung von Pipelines auf, die Reinforcement Learning mit überprüfbaren Belohnungen nutzen – eine Familie, zu der auch GRPO gehört. Nachtrainierung ist die Phase, die das Verhalten eines Modells nach dem Basis training formt, und deshalb ziehen Genauigkeit-pro-FLOP-Vergleiche wie dieser die Aufmerksamkeit von Teams auf sich, die Fähigkeitsziele gegen begrenzte Compute-Budgets abwägen.

Die Vier-Domainen-Zahlen deuten auf Skalierbarkeit hin. Der Kostenanteil der Destillation stieg von 5,2 % auf 8,0 %, als sich die Zahl der Domainen verdoppelte, was darauf hindeutet, dass der Zusammenführungsschritt mit wachsender Expertenanzahl relativ erschwinglich bleibt – zumindest in den getesteten Konfigurationen.

Einige Vorbehalte sind zu beachten. Es handelt sich um ein Preprint, das noch kein Peer-Review durchlaufen hat, und die zentrale 42-%-Zahl stammt aus einem spezifischen Zwei-Domainen-Vergleich mit Mathematik und Code. Die weiteren erwähnenswerten Entwicklungen sind entsprechend konkret: das formale Peer-Review und die Frage, ob sich der Vorteile des Split-then-Merge-Ansatzes auch in anderen Domainen und Konfigurationen bestätigt.

Den Originalbericht veröffentlichte CryptoBriefing, wo er von Diego Almada Lopez redigiert wurde.