Społecznościowy wysiłek badawczy twierdzi, że przewyższył poprzedni wynik benchmarkowy OpenAI 500 000 razy i opublikował zweryfikowane wyniki w krótkim czasie po zakończeniu prac.

Co twierdzi zespół

Grupa twierdzi, że pobiła wcześniejszy benchmark 500 000 razy, a jej wyniki zostały zweryfikowane i upublicznione w krótkim czasie. Według podsumowania badań zysk stanowi poprawę wydajności względem wcześniejszych benchmarków OpenAI, a w istniejącej literaturze nie pojawiło się dokładne dopasowanie do wartości tej wielkości.

Konkretna metryka ma tu ogromne znaczenie. 500 000-krotny zysk w wąskim zadaniu to co innego niż 500 000-krotny zysk w każdej dziedzinie. Dotychczasowy sposób prezentacji wskazuje na wydajność, a nie na surowe możliwości.

Scena speedrunów za tym stojąca

Wynik jest powiązany z szerszym ruchem otwartych projektów optymalizacyjnych AI, w tym NanoGPT speedrun oraz szeregiem badań wspomaganych przez agentów. Model docelowy to wariant GPT-2 o 124 mln parametrów, model OpenAI wydany w 2019 roku, który od tego czasu stał się standardowym punktem odniesienia dla eksperymentów z małymi modelami językowymi. To malutkie jak na dzisiejsze standardy i o to chodzi: jest na tyle mały, że mogą na nim eksperymentować hobbyści i niezależni badacze, a koszt pojedynczego uruchomienia jest na tyle niski, że pomysły optymalizacyjne można testować w szybkim tempie.

Czasy treningu tego modelu spadły z około 74 sekund, a społeczność dąży obecnie do celów poniżej 40 sekund.

Jest też wymiar agentowy. Autonomiczne agenty AI biorące udział w tych projektach przyniosły własne zyski wydajności — w jednym udokumentowanym przypadku uzyskano poprawę o około 11% przy minimalnym lub zerowym nadzorze człowieka.

Co to oznacza dla bran AI

Badania sugerują, że inwestorzy mogą być zmuszeni ponownie ocenić swoje pozycjonowanie, potencjalnie faworyzując zwinne, wspierane przez społeczność przedsięwzięcia zamiast polegać wyłącznie na instytucjach z głębokimi kieszeniami. Może to przełożyć się na większe zainteresowanie finansowaniem platform współpracy badawczej, zwłaszcza tych wykorzystujących autonomicznych agentów do optymalizacji.

Nacisk na wydajność wpisuje się też w szerszy wzorzec branżowy: obliczenia to jeden z największych kosztów trenowania modeli językowych, więc skrócenie czasu lub zmniejszenie sprzętu na uruchomienie obniża koszt uzyskania tego samego wyniku. Dlatego wąskie benchmarki wydajności na małych modelach są często używane jako poligonowe tereny prób dla technik optymalizacyjnych.

Trzy kwestie zasługują na uwagę. Pierwsza to niezależna replikacja i dokładne rozliczenie metryki: twierdzenie o 500 000-krotnym zysku wzywa do weryfikacji, a szybka publikacja zweryfikowanych wyników przez zespół sugeruje, że właśnie o to chodzi. Druga to kwestia agentów: jeśli systemy autonomiczne będą dalej dostarczać zyski rzędu 11% przy minimalnym udziale człowieka, tempo optymalizacji może przyspieszyć ponad to, co osiągają zespoły czysto ludzkie. Trzecia to pytanie, czy społeczność speedrunowa faktycznie złamie barierę 40 sekund na modelu o 124 mln parametrów.