Nowy artykuł naukowy z Carnegie Mellon University dowodzi, że pretrening, dostrajanie i uczenie ze wzmocnieniem mogą działać jako jeden algorytm, a nie trzy oddzielne etapy treningowe.

Większość modeli fundamentowych — dużych, ogólnego przeznaczenia modeli stanowiących bazę dla wielu systemów AI — buduje się jak trzydaniową kolację: najpierw pretrening, potem dostrajanie, a uczenie ze wzmocnieniem na deser. Badanie z Carnegie Mellon sugeruje, że te „dania” mogą działać lepiej, podane na jednym talerzu.

Artykuł pt. „Training Foundation Models with a Single Algorithm” został opublikowany na arXiv 29 października 2026 r. — to serwis preprintów, na którym badania często ukazują się przed formalną recenzją. Jego głównym autorem jest Yuda Song z Carnegie Mellon University, który współpracował z badaczami z Johns Hopkins University i Aurora Innovation. Według badania połączenie wszystkich trzech rodzajów danych treningowych w jedną ujednoliconą metodę może przewyższyć tradycyjne podejście etapowe.

Co faktycznie zrobili badacze

Sednem pomysłu jest zmiana perspektywy. Zespół traktuje każdy etap treningu jako dopasowanie metodą największej wiarygodności danych generowanych przez model.

Ta zmiana przenosi kluczowe decyzje w nowe miejsce. Zamiast sztywnej sekwencji odmiennych faz ramy kładą nacisk na skład danych i ich harmonogram. W tym ujęciu różnica między pretreningiem, dostrajaniem i uczeniem ze wzmocnieniem staje się kwestią tego, jakie dane są używane i kiedy, a nie tego, jaki algorytm jest stosowany. Statyczne zbiory danych — te używane w pretreningu i nadzorowanym dostrajaniu — są łączone z zarządzaniem danymi stosowanym w uczeniu ze wzmocnieniem, a wszystko przepływa przez jedną ramę treningową.

Jakie są dotychczasowe wyniki

Zgodnie z artykułem ujednolicone podejście poprawiło kompromis między dokładnością a mocą obliczeniową. W praktyce modele dostarczały więcej wydajności przy tym samym budżecie obliczeniowym.

Metoda przewyższyła także trening etapowy według kilku miar. Obejmowały one oceny wewnątrz rozkładu, generalizację oraz gotowość do uczenia ciągłego. Badacze informują również, że trening ujednolicony pomagał modelom zachować szersze zdolności w wielu zadaniach.

Ramy eliminują potrzebę oddzielnej infrastruktury budowanej dla każdego etapu treningu, co — jak twierdzą autorzy — ogólnie upraszcza systemy treningowe. Eksperymenty obejmowały modele o około 124 mln parametrów i około 0,76 mld parametrów — skale znacznie mniejsze niż największych modeli zwykle określanych jako modele fundamentowe, więc dowody przedstawione w artykule pochodzą z stosunkowo wąskiego fragmentu spektrum rozmiarów modeli.

Dlaczego receptura trzech etapów w ogóle istnieje

Pipeline etapowy stał się standardem, ponieważ każda faza zdawała się pełnić odrębną rolę. Pretrening buduje szeroką wiedzę, dostrajanie uczy model wykonywania poleceń, a uczenie ze wzmocnieniem kształtuje zachowanie w kierunku pożądanych rezultatów.

Artykuł z CMU bezpośrednio kwestionuje ten podział. Opisuje się go jako pierwszą publiczną prezentację ram ujednoliconego treningu popartych eksperymentami.

Autorzy idą o krok dalej. Twierdzą, że takie ramy mogłyby otworzyć nowe sposoby zrozumienia, jak w modelach pojawiają się zdolności i jak są one zachowywane w miarę rozwoju modeli.

Co to oznacza dla twórców AI

Na dzień 30 października 2026 r. badania nie przyniosły żadnych znaczących zastosowań komercyjnych ani partnerstw rynkowych. Dyskusja toczyła się głównie w środowisku akademickim, koncentrując się na tym, co jeden system treningowy mógłby oznaczać dla rozwoju modeli. Deklarowane praktyczne znaczenie artykułu dla twórców polega na tym, że jedna rama treningowa mogłaby zastąpić oddzielne systemy obecnie budowane dla każdego etapu. Na ten moment praca pozostaje wynikiem badawczym, a nie wdrożoną techniką.

Dla osób śledzących te badania z aktualnego statusu artykułu wynikają dwa konkretne punkty odniesienia: nie przeszedł on jeszcze formalnej recenzji, a opisane eksperymenty kończą się na wspomnianych skalach parametrów. Niezależna replikacja i badania kontynuowane w większych skalach to widoczne kamienie milowe, gdy wyniki krążą w środowisku naukowym.