Trenowanie jednego modelu AI, który ma być dobry we wszystkim, jest kosztowne. Według Salesforce AI Research może istnieć tańsza droga: najpierw wytrenować kilku specjalistów, a następnie przelać ich wiedzę do jednego modelu.

W preprincie opublikowanym 5 listopada 2026 r. zespół informuje, że trenowanie specjalistów osobno, a następnie ich scalenie, osiągnęło wydajność porównywalną ze wspólnym uczeniem ze wzmocnieniem w połączonej konfiguracji matematyczno-programistycznej, zużywając o 42% mniej łącznych FLOP-ów treningowych.

Co badacze faktycznie przetestowali

Praca nosi tytuł "Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO" i jest dostępna jako arXiv:2611.08453.

GRPO to skrót od Group Relative Policy Optimization. To technika uczenia ze wzmocnieniem, która trenuje model przy użyciu weryfikowalnych nagród za wynik — model otrzymuje uznanie, gdy jego rezultat można sprawdzić jako poprawny. OPD oznacza destylację on-policy. FLOP-y, czyli operacje zmiennoprzecinkowe, służą w całym badaniu jako miara mocy obliczeniowej treningu — miara istotna, ponieważ ściśle koresponduje z czasem i kosztem infrastruktury każdej sesji treningowej.

Badanie zestawia te dwa podejścia na prostym tablicu wyników: ile dokładności na zbiorze hold-out dostarcza każda metoda w przeliczeniu na jednostkę zużytej mocy obliczeniowej treningu? Zadania hold-out to problemy wyłączone z treningu, więc dokładność na nich odzwierciedla generalizację, a nie zapamiętywanie. Aby na to odpowiedzieć, badacze mierzyli dokładność na zadaniach hold-out w relacji do treningowych FLOP-ów w wielu domenach, w tym matematyce i programowaniu, przy różnym poziomie trudności zadań i różnych konfiguracjach nauczycieli.

Najważniejszy wynik: najpierw specjaliści, potem scalenie

Najbardziej wybitne odkrycie dotyczy tego, co praca nazywa multi-teacher OPD. Zamiast trenować jeden model jednocześnie na matematyce i programowaniu z użyciem GRPO, badacze najpierw wytrenowali osobne checkpointy "ekspertów" GRPO dla każdej domeny. Następnie poddali tych ekspertów destylacji do pojedynczego modelu ucznia. Destylacja oznacza tu trenowanie ucznia tak, by odtwarzał wyniki ekspertów, przenosząc ich zdolności bez ponownego przeprowadzania pełnego procesu RL na połączonych domenach.

W konfiguracji matematyka plus kod model ucznia osiągnął wydajność porównywalną ze wspólnym treningiem GRPO, przy rachunku za moc obliczeniową niższym o 42%. Ekonomia jest tu sednem sprawy: praca nad uczeniem ze wzmocnieniem była opłacana raz na specjalistę, podczas gdy scalony uczeń przejął ją dzięki przebiegowi destylacji, który praca wycenia na ułamek tego rachunku.

Sam krok scalenia okazał się tani. Według badania destylacja stanowiła zaledwie 5,2% kosztu treningu specjalistów w przypadku dwóch domen.

Gdy konfiguracja rozrosła się do czterech domen, udział destylacji wzrósł do 8,0% treningowych FLOP-ów specjalistów.

Gdzie destylacja zawiodła

Praca nie ogłasza jednak destylacji uniwersalnym zwycięzcą. Gdy OPD opierało się na zewnętrznych nauczycielach post-trenowanych — czyli modelach wytrenowanych gdzie indziej, a nie na ekspertach z domu — generalnie wypadało gorzej od GRPO w przeliczeniu na FLOP. Zewnętrzni nauczyciele mieli też tendencję do generowania nadmiernie długich odpowiedzi ucznia.

Na froncie nauczycieli był jednak jasny punkt. Nauczyciele self-GRPO, zbudowani z wcześniejszych checkpointów samego ucznia, okazały się wysoce wydajne w odtwarzaniu dokładności w pojedynczej domenie. Podsumowanie badania opisuje redukcję FLOP-ów destylacji nawet 50-krotną w tej konfiguracji.

Dlaczego ten wynik ma znaczenie dla budżetów treningowych AI

Badanie wpisuje się w szerszy wysiłek Salesforce na obniżenie kosztów post-treningu dużych modeli językowych. Bazuje też na trwającym rozwoju pipeline'ów wykorzystujących uczenie ze wzmocnieniem z weryfikowalnymi nagrodami — rodziny, do której należy GRPO. Post-trening to etap, który kształtuje zachowanie modelu po treningu bazowym, i dlatego porównania dokładności na FLOP, takie jak to, przyciągają uwagę zespołów balansujących cele wydajnościowe z ograniczonymi budżetami obliczeniowymi.

Wyniki dla czterech domen sugerują skalowalność. Udział destylacji w kosztach wzrósł z 5,2% do 8,0% wraz z podwojeniem liczby domen, co wskazuje, że krok scalenia pozostaje stosunkowo przystępny w miarę wzrostu liczby ekspertów — przynajmniej w testowanych konfiguracjach.

Warto mieć na uwadze pewne zastrzeżenia. To preprint, więc nie przeszedł jeszcze recenzji, a głośna wartość 42% pochodzi z konkretnego porównania dwóch domen: matematyki i kodu. Dalsze kroki wartwe obserwacji są odpowiednio konkretne: formalna recenzja oraz to, czy przewaga podejścia "najpierw podziel, potem scal" utrzyma się w domenach i konfiguracjach wykraczających poza przetestowane.

Oryginalny raport opublikował CryptoBriefing, gdzie redagował go Diego Almada Lopez.