Sztuczna inteligencja w przedsiębiorstwach przechodzi od konwersacji do wykonywania zadań, ponieważ zautomatyzowane systemy zużywają znacznie więcej mocy modeli niż zwykli użytkownicy.

OpenRouter odnotował do 10 sierpnia około 7,3 biliona tokenów agentowych w siedmiodniowej średniej, czyli około 14 razy więcej niż poziom z początku lutego. Użycie generowane przez ludzi osiągnęło w tym samym okresie około 1,4 biliona tokenów, co oznacza 2,8-krotny wzrost od początku lutego. W efekcie agenci AI zużywali ponad pięć razy więcej tokenów niż ludzie w ruchu kierowanym przez tę platformę.

Tokeny — fragmenty tekstu, które modele językowe czytają i generują — to również jednostka, według której większość dostawców mierzy i rozlicza użycie API, dlatego ten stosunek stanowi bezpośrednią miarę tego, dokąd trafia moc obliczeniowa przeznaczona na inferencję. OpenRouter, usługa routingu kierująca żądania programistów do modeli wielu dostawców, rozróżnia aktywność agentową na podstawie sygnałów takich jak wywołania narzędzi, tury konwersacji i wzorce czasowe. Dane odzwierciedlają ruch w OpenRouter, a nie cały rynek generatywnej AI, wskazują jednak, jak szybko skalują się zautomatyzowane obciążenia. W przeciwieństwie do chatbota odpowiadającego na pojedynczy prompt, agenci AI mogą sprawdzać informacje, wywoływać narzędzia, testować wyniki, poprawiać poszczególne kroki i powtarzać działania, zanim zakończą pracę.

AI w przedsiębiorstwach przechodzi od czatu do zautomatyzowanych przepływów pracy

Raport OpenAI „Enterprise Signals” wskazuje na tę samą zmianę wewnątrz firm, zwłaszcza wśród najintensywniej korzystających użytkowników. Firmy tzw. frontier, definiowane jako czołowe 10% użytkowników AI w przedsiębiorstwach, generowały 8,3 raza więcej tokenów wyjściowych na aktywnego użytkownika niż typowe firmy.

W styczniu ta różnica wynosiła 2,6 raza, co pokazuje pogłębianie się dystansu między standardowym wdrażaniem AI w przedsiębiorstwach a najbardziej intensywnymi użytkownikami. Do czerwca Codex, agent OpenAI do tworzenia oprogramowania, wygenerował 64% tokenów wyjściowych łącznie dla Codex i ChatGPT wśród klientów korporacyjnych.

Liczba aktywnych w skali tygodnia użytkowników Codex w dziedzinie prawnej wzrosła od lutego 108-krotnie, w porównaniu z 41-krotnym wzrostem w sprzedaży i rekrutacji. Ten obraz wskazuje, że użycie AI w przedsiębiorstwach wykracza poza czat — w kierunku programowania, tworzenia dokumentów, badań i innych wieloetapowych przepływów pracy.

OpenAI podało również, że 21% aktywnych użytkowników w firmach frontier korzystało z Plugins co tydzień, wobec 9% w typowych firmach. Ta różnica wzmacnia przesunięcie w stronę systemów, które potrafią korzystać z narzędzi, tworzyć pliki i wykonywać zadania, a nie tylko odpowiadać na pytania.

Codex, Plugins i buforowanie napędzają zmianę wykraczającą poza czat

Andreessen Horowitz, powołując się na dane OpenRouter, podało, że ponad 85% użycia tokenów agentowych pochodzi obecnie z buforowanych promptów. Buforowanie promptów pozwala systemom ponownie wykorzystywać uprzednio przetworzony kontekst, zamiast ponownie obliczać identyczne dane wejściowe przy powtarzających się wywołaniach.

Zdaniem OpenAI buforowanie może ograniczyć opóźnienia i koszty danych wejściowych, czyniąc tańszą obsługę obciążeń opartych na powtarzającym się kontekście. Ponieważ inferencja jest zwykle rozliczana według tokenów, ponowne wykorzystywanie kontekstu zamiast jego ponownego obliczania bezpośrednio wpływa na koszt długich, powtarzalnych sekwencji wywołań uruchamianych przez agentów. Takie obciążenia wymagają jednak infrastruktury zdolnej przechowywać i szybko ponownie wykorzystywać duże konteksty, obok procesorów GPU obsługujących inferencję.

To zwiększa znaczenie pojemności i przepustowości pamięci, w miarę jak przedsiębiorstwa delegują bardziej złożone zadania systemom zautomatyzowanym. Zmiana ta stanowi także test dla tradycyjnego oprogramowania obsługującego przepływy pracy.

A16z argumentowało, że rosnące wykorzystanie agentów może wywierać presję na produkty zbudowane wokół sztywnych kroków automatyzacji, ponieważ użytkownicy wdrażają systemy zdolne rozumować nad zadaniami. Niemniej same zmiany ruchu internetowego nie dowodzą wyparcia tych rozwiązań, a Zapier, Make i n8n — platformy łączące aplikacje biznesowe w celu automatyzacji wieloetapowych zadań — również dodają funkcje AI.

Ogólnie agenci AI zwiększają zapotrzebowanie na tokeny, ponieważ oprogramowanie korporacyjne wykonuje w imieniu użytkowników coraz dłuższe łańcuchy zadań. W miarę rozprzestrzeniania się tego wzorca AI w przedsiębiorstwach będzie definiowana coraz mniej wolumenem czatu, a coraz bardziej ilością pracy delegowanej oprogramowaniu, a już dostępne mierniki — udział agentów w ruchu tokenów, przewaga firm frontier w generowaniu tokenów oraz udział buforowanych promptów — pokażą, jak daleko zajdzie ten proces.