Carnegie-Mellon-Forscher schlagen Single-Algorithmus-Training für Foundation Models vor
Autor: CryptoBriefing·
Wichtige Erkenntnisse
- •Ein Paper der Carnegie Mellon University, das am 29. Oktober 2026 auf arXiv veröffentlicht wurde, schlägt vor, Foundation Models mit einem einzigen einheitlichen Algorithmus zu trainieren, statt separate Phasen für Pretraining, Fine-Tuning und Reinforcement Learning zu verwenden.
- •Der Framework behandelt alle Trainingsphasen als Maximum-Likelihood-Anpassung von modellgenerierten Daten und macht Datenzusammensetzung und -planung zu den zentralen Designentscheidungen.
- •Die Autoren berichten, dass das einheitliche Training den Kompromiss zwischen Genauigkeit und Rechenleistung verbessert und das gestufte Training bei In-Distribution-Bewertungen, Generalisierung, Bereitschaft für kontinuierliches Lernen und Fähigkeitserhalt übertraf.
- •Die Methode erübrigt separate Infrastrukturen für jede Trainingsphase, was nach Angaben der Forscher die Trainingssysteme insgesamt vereinfacht.
- •Die Experimente umfassten nur Modelle mit etwa 124 Millionen und 0,76 Milliarden Parametern, das Paper hat keine formale Peer-Review durchlaufen, und bis zum 30. Oktober 2026 waren keine kommerziellen Anwendungen oder Partnerschaften entstanden.
Ein neues Forschungspaper der Carnegie Mellon University argumentiert, dass Pretraining, Fine-Tuning und Reinforcement Learning als ein einziger Algorithmus statt als drei separate Trainingsphasen ablaufen können.
Die meisten Foundation Models – die großen, universell einsetzbaren Modelle, die als Basis vieler KI-Systeme dienen – werden wie ein Drei-Gänge-Menü gebaut: zuerst Pretraining, dann Fine-Tuning und zum Nachtisch Reinforcement Learning. Die Carnegie-Mellon-Studie deutet an, dass diese Gänge auf einem Teller besser funktionieren könnten.
Das Paper mit dem Titel „Training Foundation Models with a Single Algorithm
