NotizieMacroL'economia dei token AI: perché le aziende hanno bisogno di AI FinOps prima che arrivino le fatture

L'economia dei token AI: perché le aziende hanno bisogno di AI FinOps prima che arrivino le fatture

Autore: Bworldonline·

Punti chiave

  • •I costi dell'AI aziendale stanno passando da abbonamenti fissi a un consumo a consumo misurato in token, in modo simile all'evoluzione della fatturazione del cloud computing.
  • •L'autore prevede l'emergere di una disciplina "AI FinOps" per rendere la spesa AI visibile, responsabilizzata e legata al valore di business, come ha fatto il FinOps dell'era cloud.
  • •Gli agenti AI possono trasformare una singola richiesta di un dipendente in molte transazioni verso i modelli, rendendo inadeguati i budget basati sul numero di utenti.
  • •La metrica giusta per la spesa AI è il costo per risultato utile, non il costo per token, poiché il modello più economico non è sempre la scelta migliore.
  • •Controlli del consumo come caching, accorciamento dei prompt, recupero selettivo dei documenti e instradamento dei modelli tramite gateway AI sono già supportati dai principali fornitori di AI e cloud.
L'economia dei token AI: perché le aziende hanno bisogno di AI FinOps prima che arrivino le fatture

Negli ultimi due anni, le aziende hanno spinto i dipendenti ad adottare l'intelligenza artificiale. Presto inizieranno a porsi una domanda molto diversa: chi paga tutti questi token?

Oggi la questione sembra banale perché la maggior parte dei dipendenti incontra l'AI attraverso un abbonamento mensile a ChatGPT, Claude o un altro strumento. Il costo appare prevedibile: si acquistano le licenze, si assegnano al personale e si include l'importo nel budget IT.

Ma è qui che non si sta dirigendo l'AI aziendale.

Man mano che le aziende integrano l'AI nel servizio clienti, nelle vendite, nel marketing, nello sviluppo software, nel lavoro legale, nella finanza, nell'analisi dei dati e nei processi interni, la tecnologia diventa meno simile al software tradizionale e più simile a una utility. Viene consumata: più si usa, più si paga. E il contatore viene misurato sempre più in token.

Una storia familiare dall'era del cloud

Il mondo aziendale è già passato da qui. Oltre dieci anni fa, le aziende si sono lanciate nel cloud computing. Amazon Web Services, Microsoft Azure e Google Cloud offrivano esattamente ciò che l'IT aziendale desiderava da tempo: risorse di calcolo senza acquistare server o costruire data center. Creare una macchina virtuale, aggiungere storage, aumentare la capacità e pagare solo ciò che si usa.

Sembrava meravigliosamente efficiente — finché non arrivarono le fatture.

Gli sviluppatori creavano server e si dimenticavano di spegnerli. Gli ambienti di test restavano attivi per mesi. Lo storage si accumulava. I dipartimenti acquistavano servizi cloud senza supervisione centrale. Nessuno si preoccupava più di tanto quando ogni decisione coinvolgeva solo pochi dollari, ma migliaia di decisioni del genere, sommate, finirono per attirare l'attenzione del CFO.

Quel periodo doloroso diede origine al FinOps, una disciplina incentrata sul rendere la spesa cloud visibile, responsabilizzata e legata al valore di business — una pratica oggi sostenuta da una comunità FinOps organizzata e da organismi di certificazione. L'autore ritiene che con l'AI stia per accadere la stessa cosa: chiamiamola AI FinOps.

Dalle metriche di adozione alle metriche di consumo

Oggi le aziende sono concentrate sull'adozione dell'AI: quanti dipendenti usano ChatGPT? Quanti progetti AI sono stati avviati? Quanti processi possono essere automatizzati?

Sono domande utili, ma ne sta arrivando un'altra serie. Quanti token stiamo consumando? Quali dipartimenti li consumano? Quali applicazioni generano il maggior utilizzo? Quali modelli vengono utilizzati? Quanto costa una transazione assistita dall'AI? E, soprattutto, quale risultato di business ha prodotto il denaro speso?

Un token è semplicemente una piccola unità di testo elaborata da un modello AI. Dal punto di vista economico, però, le aziende dovrebbero iniziare a trattare i token come hanno imparato a trattare le ore di calcolo, lo storage e il traffico di rete nel cloud: come unità di consumo. I principali fornitori di modelli pubblicano già prezzi a consumo, tipicamente quotati per milione di token in input e output, il che rende oggi tecnicamente possibile questo tipo di contabilità a consumo — il tassello mancante è di solito la visibilità su chi ha consumato cosa all'interno dell'organizzazione.

Si consideri un'azienda che elabora 500.000 interazioni con i clienti al mese tramite AI, con ogni interazione che consuma in media 4.000 token in input e 800 token in output. Il management può stimare il volume mensile e moltiplicarlo per i prezzi applicabili dei modelli. Ora si aumenti il volume di clienti del 20%, si aggiunga un'altra applicazione AI, si dia accesso a più dipendenti e si introduca un agente AI che esegue diverse chiamate al modello per completare un singolo task. Il budget può cambiare rapidamente.

Perché gli agenti cambiano l'equazione

La sfida diventa ancora più significativa con gli agenti AI. Una persona pone una domanda e riceve una risposta. Un agente, al contrario, può ricevere una sola istruzione, suddividerla in più task, cercare documenti, chiamare sistemi diversi, verificare il proprio lavoro e invocare ripetutamente un modello AI. Una singola richiesta di un dipendente può trasformarsi silenziosamente in molte transazioni AI.

Ecco perché il budget basato semplicemente sul numero di utenti AI finirà per diventare inadeguato. Le aziende devono misurare i token per applicazione, dipartimento, flusso di lavoro e risultato di business. La finanza ha bisogno di previsioni. L'IT ha bisogno di controlli sull'utilizzo. Le business unit hanno bisogno di responsabilità.

Un dipartimento marketing che gestisce milioni di messaggi personalizzati dovrebbe conoscere il proprio costo AI. Un contact center dovrebbe conoscere il costo AI per caso risolto. I team software dovrebbero conoscere il costo AI per task di sviluppo. Una banca che usa l'AI per esaminare documenti dovrebbe conoscere il costo per pratica lavorata.

Costo per risultato utile, non costo per token

L'AI FinOps, però, non dovrebbe diventare un altro esercizio aziendale di taglio dei costi. Il modello più economico non è automaticamente il migliore. Se spendere 10 pesos in AI fa risparmiare 500 pesos di tempo dipendente, ridurre il costo AI a cinque pesos potrebbe non avere senso. Se un modello più costoso produce meno errori e risolve più problemi dei clienti, pagare di più potrebbe in realtà essere la decisione migliore.

La metrica giusta non è il costo per token. È il costo per risultato utile.

Esistono anche modi evidenti per controllare il consumo. Le aziende non hanno bisogno del modello più potente per ogni task — classificazione, estrazione e sintesi semplici possono funzionare perfettamente con modelli più piccoli. I prompt possono essere accorciati. I documenti possono essere recuperati selettivamente invece di inviare ripetutamente centinaia di pagine a un modello. Le conversazioni lunghe possono essere sintetizzate, le istruzioni ripetute e il contesto possono essere messi in cache e le applicazioni possono impostare limiti di token. I gateway AI possono instradare i task verso modelli diversi in base a complessità e costo. Diverse di queste leve — caching, riutilizzo del contesto dei prompt, instradamento dei modelli — sono già supportate da funzionalità e strumenti che i principali fornitori di AI e le piattaforme cloud hanno introdotto per gli sviluppatori aziendali.

Nulla di tutto ciò sembra emozionante rispetto ai discorsi su agenti autonomi o intelligenza artificiale generale. Ma i CFO finiscono per rendere importanti le cose noiose.

Il cloud computing ha seguito lo stesso percorso: prima l'entusiasmo, poi l'adozione, poi la spesa fuori controllo, poi la governance. L'AI probabilmente lo seguirà più in fretta.

Cosa succederà dopo

È facile immaginare che le aziende deployino presto dashboard dei consumi AI che mostrino l'utilizzo di token, il costo per flusso di lavoro, l'utilizzo dei modelli, gli scostamenti di budget e il valore di business. I dipartimenti potrebbero ricevere budget AI così come ricevono budget per viaggi, marketing o cloud. E qualcuno finirà per esserne responsabile.

Quella persona potrebbe trovarsi nella finanza, nell'IT o in un centro di eccellenza AI. Il titolo potrà variare, ma la disciplina sarà la stessa: AI FinOps.

Le aziende dovrebbero iniziare a costruire questa capacità ora — prima che la fattura AI cresca abbastanza da spingere il CFO a porre la domanda che nessuno vuole sentire: dove sono finiti tutti quei token?


Le opinioni qui espresse sono dell'autore e non riflettono necessariamente quella del suo ufficio né di FINEX.

Reynaldo C. Lugtu, Jr. è fondatore e CEO di Hungry Workhorse, una società di consulenza specializzata in trasformazione digitale, culturale e dell'esperienza cliente. È fellow presso lo statunitense Institute for Digital Transformation. È Presidente del programma AI, Digital Transformation e Governance della FINEX Academy. Insegna strategic management e trasformazione digitale nel programma MBA della De La Salle University. Può essere contattato all'indirizzo rey.lugtu@hungryworkhorse.com.