AktualnościMakroEkonomia tokenów AI: dlaczego firmy potrzebują AI FinOps, zanim przyjdzie rachunek

Ekonomia tokenów AI: dlaczego firmy potrzebują AI FinOps, zanim przyjdzie rachunek

Autor: Bworldonline·

Najważniejsze informacje

  • •Koszty korporacyjnej AI przesuwają się ze stałych subskrypcji na konsumpcję rozliczaną według zużycia, mierzoną w tokenach — podobnie jak ewoluowało rozliczanie cloud computingu.
  • •Autor przewiduje powstanie dyscypliny „AI FinOps", która uczyni wydatki na AI widocznymi, rozliczalnymi i powiązanymi z wartością biznesową, tak jak zrobiło to FinOps z ery chmury.
  • •Agenci AI mogą zamienić jedno żądanie pracownika w wiele transakcji modelowych, co czyni budżety oparte na liczbie użytkowników niewystarczającymi.
  • •Właściwą metryką wydatków na AI jest koszt per użyteczny rezultat, a nie koszt per token, ponieważ najtańszy model nie zawsze jest najlepszym wyborem.
  • •Mechanizmy kontroli konsumpcji, takie jak buforowanie, skracanie promptów, selektywne pobieranie dokumentów i routing modeli przez bramy AI, są już wspierane przez głównych dostawców AI i chmury.
Ekonomia tokenów AI: dlaczego firmy potrzebują AI FinOps, zanim przyjdzie rachunek

Przez ostatnie dwa lata firmy nakłaniały pracowników do korzystania ze sztucznej inteligencji. Wkrótce zaczną zadawać zupełnie inne pytanie: kto płaci za wszystkie te tokeny?

Dziś temat wydaje się błahy, bo większość pracowników styka się z AI poprzez miesięczną subskrypcję ChatGPT, Claude lub innego narzędzia. Koszt wygląda na przewidywalny — kupuje się licencje, przydziela pracownikom i ujmuje kwotę w budżecie IT.

Ale to nie jest kierunek, w którym zmierza korporacyjna AI.

W miarę jak firmy wdrażają AI w obsłudze klienta, sprzedaży, marketingu, rozwoju oprogramowania, pracy prawnej, finansach, analityce i procesach wewnętrznych, technologia staje się mniej podobna do tradycyjnego oprogramowania, a bardziej do usługi komunalnej. Jest konsumowana: im więcej używasz, tym więcej płacisz. A licznik jest coraz częściej mierzony w tokenach.

Znana historia z ery chmury

Świat korporacyjny był już w tym miejscu. Ponad dekadę temu firmy rzuciły się na cloud computing. Amazon Web Services, Microsoft Azure i Google Cloud oferowały dokładnie to, czego korporacyjne działy IT od lat pragnęły: zasoby obliczeniowe bez kupowania serwerów i budowania centrów danych. Uruchom maszynę wirtualną, dodaj pamięć masową, zwiększ moc obliczeniową i płać tylko za to, czego używasz.

Brzmiało to cudownie wydajnie — dopóki nie zaczęły przychodzić rachunki.

Programiści tworzyli serwery i zapominali je wyłączać. Środowiska testowe funkcjonowały miesiącami. Pamięć masowa rosła. Działy kupowały usługi chmurowe bez centralnego nadzoru. Nikt nie przejmował się zbytnio, gdy każda decyzja dotyczyła kilku dolarów, ale tysiące takich decyzji razem wziętych w końcu zwróciły uwagę CFO.

Ten bolesny okres dał początek FinOps — dyscyplinie nastawionej na uczynienie wydatków chmurowych widocznymi, rozliczalnymi i powiązanymi z wartością biznesową; praktyce wspieranej dziś przez zorganizowaną społeczność FinOps i organizacje certyfikujące. Autor uważa, że to samo zaraz wydarzy się z AI — nazwijmy to AI FinOps.

Od metryk adopcji do metryk konsumpcji

Obecnie firmy skupiają się na adopcji AI: Ilu pracowników korzysta z ChatGPT? Ile uruchomiliśmy projektów AI? Ile procesów możemy zautomatyzować?

To przydatne pytania, ale nadchodzi kolejny zestaw. Ile tokenów konsumujemy? Które działy je zużywają? Które aplikacje generują największe użycie? Które modele są wykorzystywane? Ile kosztuje transakcja wspierana przez AI? I co najważniejsze — jaki rezultat biznesowy przyniosły wydane pieniądze?

Token to po prostu mała jednostka tekstu przetwarzana przez model AI. Z ekonomicznego punktu widzenia firmy powinny jednak zacząć traktować tokeny tak, jak nauczyły się traktować godziny obliczeniowe, pamięć masową i ruch sieciowy w chmurze: jako jednostki konsumpcji. Główni dostawcy modeli publikują już cenniki oparte na zużyciu, zwykle podawane za milion tokenów wejściowych i wyjściowych, co czyni takie rozliczanie licznikowe technicznie możliwym już dziś — brakującym elementem jest zazwyczaj widoczność, kto w organizacji co skonsumował.

Rozważmy firmę, która przetwarza 500 000 interakcji z klientami miesięcznie przy użyciu AI, a każda interakcja zużywa średnio 4 000 tokenów wejściowych i 800 tokenów wyjściowych. Zarząd może oszacować miesięczny wolumen i pomnożyć go przez obowiązujące ceny modeli. Teraz zwiększmy wolumen klientów o 20%, dodajmy kolejną aplikację AI, dajmy dostęp większej liczbie pracowników i wprowadźmy agenta AI wykonującego kilka wywołań modelu w celu realizacji jednego zadania. Budżet może zmienić się bardzo szybko.

Dlaczego agenci zmieniają równanie

Wyzwanie staje się jeszcze większe w przypadku agentów AI. Człowiek zadaje jedno pytanie i otrzymuje jedną odpowiedź. Agent natomiast może otrzymać jedną instrukcję, podzielić ją na kilka zadań, przeszukiwać dokumenty, wywoływać różne systemy, sprawdzać swoją pracę i wielokrotnie sięgać do modelu AI. Jedno żądanie pracownika może po cichu zamienić się w wiele transakcji AI.

Dlatego budżetowanie oparte jedynie na liczbie użytkowników AI w końcu stanie się niewystarczające. Firmy muszą mierzyć tokeny według aplikacji, działu, przepływu pracy i rezultatu biznesowego. Finanse potrzebują prognoz. IT potrzebuje mechanizmów kontroli użycia. Jednostki biznesowe potrzebują rozliczalności.

Dział marketingu wysyłający miliony spersonalizowanych wiadomości powinien znać swój koszt AI. Centrum obsługi kontaktu powinno znać koszt AI per rozwiązana sprawa. Zespoły programistyczne powinny znać koszt AI per zadanie rozwojowe. Bank wykorzystujący AI do przeglądu dokumentów powinien znać koszt per przetworzony wniosek.

Koszt per użyteczny rezultat, nie koszt per token

AI FinOps nie powinno jednak stać się kolejnym korporacyjnym ćwiczeniem z cięcia kosztów. Najtańszy model nie jest automatycznie najlepszym modelem. Jeśli wydanie 10 pesos na AI oszczędza 500 czasu pracy pracownika, obniżenie kosztu AI do pięciu pesos może być bez znaczenia. Jeśli droższy model generuje mniej błędów i rozwiązuje więcej problemów klientów, płacenie więcej może okazać się lepszą decyzją.

Właściwą metryką nie jest koszt per token, lecz koszt per użyteczny rezultat.

Istnieją też oczywiste sposoby kontrolowania konsumpcji. Firmy nie potrzebują najmocniejszego modelu do każdego zadania — prosta klasyfikacja, ekstrakcja i streszczanie mogą działać doskonale na mniejszych modelach. Prompty można skracać. Dokumenty można pobierać selektywnie, zamiast wielokrotnie wysyłać setki stron do modelu. Długie rozmowy można streszczać, powtarzane instrukcje i kontekst można buforować, a aplikacje mogą ustawiać limity tokenów. Bramy AI mogą kierować zadania do różnych modeli w zależności od złożoności i kosztu. Kilka z tych dźwigni — buforowanie, ponowne użycie kontekstu promptu, routing modeli — jest już wspieranych przez funkcje i narzędzia wprowadzone przez głównych dostawców AI i platformy chmurowe dla programistów korporacyjnych.

Nic z tego nie brzmi ekscytująco w porównaniu z rozmowami o autonomicznych agentach czy sztucznej inteligencji ogólnej. Ale CFO z czasem czynią nudne rzeczy ważnymi.

Cloud computing przeszedł tę samą ścieżkę: najpierw entuzjazm, potem adopcja, potem niekontrolowane wydatki, wreszcie ład i nadzór. AI prawdopodobnie przejdzie ją szybciej.

Co dalej

Łatwo wyobrazić sobie, że firmy wkrótce wdrożą dashboardy konsumpcji AI pokazujące użycie tokenów, koszt per przepływ pracy, wykorzystanie modeli, odchylenia budżetowe i wartość biznesową. Działy mogą otrzymywać budżety AI tak, jak otrzymują budżety podróży, marketingowe czy chmurowe. A ktoś w końcu poniesie za to wszystko odpowiedzialność.

Ta osoba może pracować w finansach, IT lub w centrum doskonałości AI. Tytuł może być inny, ale dyscyplina pozostanie ta sama: AI FinOps.

Firmy powinny zacząć budować tę kompetencję już teraz — zanim rachunek za AI urośnie na tyle, że CFO zada pytanie, na które nikt nie chce odpowiadać: gdzie podziały się wszystkie te tokeny?


Wyrażone tutaj poglądy są osobistymi opiniami autora i niekoniecznie odzwierciedlają stanowisko jego biura oraz FINEX.

Reynaldo C. Lugtu, Jr. jest założycielem i CEO Hungry Workhorse, firmy konsultingowej zajmującej się transformacją cyfrową, kulturową i doświadczenia klienta. Jest fellowem amerykańskiego Institute for Digital Transformation. Przewodniczy programowi AI, Digital Transformation and Governance w FINEX Academy. Wykłada zarządzanie strategiczne i transformację cyfrową w programie MBA De La Salle University. Można się z nim skontaktować pod adresem rey.lugtu@hungryworkhorse.com.