Naukowcy Microsoftu znaleźli sposób, aby tańszy model AI prześcignął własny, kosztowny tryb rozumowania, a trik ten kosztuje mniej więcej tyle, co latte.

Praca opublikowana 11 sierpnia, zatytułowana „Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills”, przedstawia pasywną metodę destylacji umiejętności, która wyodrębnia zwarte zestawy reguł z niewielkiej liczby przykładów zadań. Reguły te, zapisane w zwykłym markdownie, są wstrzykiwane do systemowego promptu modelu i skutecznie uczą go skrótów omijających potrzebę kosztownego rozumowania łańcuchowego (chain-of-thought). Modelem docelowym jest w tym przypadku GPT-5.4-mini, wprowadzony na rynek w marcu.

Wynik ten ma znaczenie wykraczające poza pojedyncze zwycięstwo w benchmarku. Tryby rozumowania podnoszą koszty inferencji, ponieważ generują długie łańcuchy pośrednich tokenów przed udzieleniem odpowiedzi, a generowanie tokenów jest głównym czynnikiem kosztowym dla dostawców AI w dużej skali. Redukcja tokenów wyjściowych wielokrotnie — przy zachowaniu lub poprawie dokładności — bezpośrednio zmienia ekonomikę uruchamiania obciążeń agentowych w produkcji, gdzie to samo zadanie może być wykonywane tysiące lub miliony razy.

Jak to działa

Proces jest pozornie prosty. Agent kodujący analizuje od 35 do 50 trajektorii zadań, czyli w zasadzie zapisów tego, jak model podchodził do konkretnych zadań — i czasem je zawodził. Z tych trajektorii agent destyluje dokument „umiejętności” w języku naturalnym o długości od 40 do 130 linii markdown. Nie są to abstrakcyjne embeddingi ani dostrojone wagi modelu. To czytelne, audytowalne reguły wywiedzione z tego, co poszło źle i co poszło dobrze.

Ta czytelność stanowi istotne odejście od dwóch dominujących sposobów wbudowywania wiedzy dziedzinowej w modele: fine-tuningu, który wymaga przebiegów treningowych i specjalistycznego sprzętu, oraz nieprzejrzystych podejść opartych na wyszukiwaniu lub embeddingach. Ponieważ zdestylowana wiedza znajduje się w zwykłym tekście, programiści mogą przeglądać, edytować i wersjonować dokument umiejętności tak samo jak każdy inny zasób promptowy — bez konieczności stosowania pipeline'u MLOps.

Gdy taki dokument umiejętności zostanie włączony do systemowego promptu modelu nierozumującego, dzieje się coś ciekawego. Model odzyskuje od 55% do ponad 100% różnicy wydajności, która normalnie dzieli tryby rozumujące i nierozumujące. Mówiąc prościej: tani tryb zaczyna działać jak drogi — a czasem nawet lepiej.

Koszt obliczeniowy wygenerowania dokumentu umiejętności dla każdej domeny mieści się w przedziale od 1 do 3 USD, bez konieczności ponownego trenowania modelu.

Wyniki benchmarków

Zespół badawczy pod kierownictwem Agamdeepa Singha, Srishti Gautam, Priyanshu Gupty, Nikity Mehrotry, Tanmaya Bakshiego i Sumita Gulwaniego ocenił podejście na czterech benchmarkach agentowych, w tym ALFWorld i SpreadsheetBench-Verified.

Na ALFWorld wzbogacony o umiejętności GPT-5.4-mini osiągnął wynik 0,787, podczas gdy pełny tryb rozumowania uzyskał 0,713. Tańsza i szybsza wersja nie tylko zmniejszyła dystans — ona go przebiła.

Wszystkich benchmarkach model wzbogacony o umiejętności używał 2,7 do 6 razy mniej tokenów wyjściowych niż tryb rozumowania. Mniej tokenów oznacza też szybsze odpowiedzi — praktyczna przewaga w przypadku agentów interaktywnych, gdzie opóźnienia kształtują doświadczenie użytkownika.

Rozbudowa SkillOpt

Praca bezpośrednio bazuje na frameworku SkillOpt Microsoftu, wydanym w czerwcu, który przedefiniował umiejętności agentów jako trenowalne parametry, a nie statyczne wagi modelu. SkillOpt wykazał średni zysk 23,5 punktu dla GPT-5.5 w sześciu benchmarkach, ustanawiając teoretyczne podstawy tego, że umiejętności mogą być optymalizowane niezależnie od modelu bazowego.

Nowa metoda destylacji bierze ten koncept i czyni go radykalnie bardziej dostępnym. Ponieważ dokumenty umiejętności to zwykłe pliki markdown wstrzykiwane przez systemowe prompty, działają one z istniejącymi strategiami wdrażania — bez dedykowanej infrastruktury inferencyjnej, bez specjalistycznego sprzętu i bez ponownych przebiegów treningowych.

Dla praktyków otwartymi pytaniami pozostają to, jak trwałe są zdestylowane umiejętności w miarę aktualizacji modeli bazowych oraz czy podejście uogólnia się poza przetestowane domeny agentowe — pytania, na które same wyniki benchmarków jeszcze nie odpowiadają.