NoticiasMacroLa economía de tokens de IA: por qué las empresas necesitan AI FinOps antes de que llegue la factura

La economía de tokens de IA: por qué las empresas necesitan AI FinOps antes de que llegue la factura

Autor: Bworldonline·

Puntos clave

  • •Los costos de la IA empresarial están pasando de suscripciones fijas a un consumo basado en el uso medido en tokens, de manera similar a como evolucionó la facturación de la computación en la nube.
  • •El autor prevé el surgimiento de una disciplina de 'AI FinOps' que haga visible el gasto en IA, lo vuelva accountable y lo vincule al valor del negocio, como lo hizo el FinOps de la era de la nube.
  • •Los agentes de IA pueden convertir una sola solicitud de un empleado en muchas transacciones de modelos, volviendo inadecuados los presupuestos basados en el número de usuarios.
  • •La métrica correcta para el gasto en IA es el costo por resultado útil, no el costo por token, ya que el modelo más barato no siempre es la mejor opción.
  • •Controles de consumo como el almacenamiento en caché, el acortamiento de prompts, la recuperación selectiva de documentos y el enrutamiento de modelos mediante pasarelas de IA ya son compatibles con los principales proveedores de IA y nube.
La economía de tokens de IA: por qué las empresas necesitan AI FinOps antes de que llegue la factura

Durante los últimos dos años, las empresas han urgido a sus empleados a adoptar la inteligencia artificial. Pronto comenzarán a hacer una pregunta muy diferente: ¿quién está pagando por todos estos tokens?

El tema parece trivial hoy porque la mayoría de los empleados se encuentra con la IA a través de una suscripción mensual a ChatGPT, Claude u otra herramienta. El costo parece predecible: se compran licencias, se asignan al personal y se incluye el monto en el presupuesto de TI.

Pero ese no es el rumbo que sigue la IA empresarial.

A medida que las empresas integran la IA en el servicio al cliente, ventas, marketing, desarrollo de software, trabajo legal, finanzas, analítica y procesos internos, la tecnología deja de parecerse al software tradicional y se convierte en algo más parecido a un servicio público. Se consume: cuanto más se usa, más se paga. Y el medidor se mide cada vez más en tokens.

Una historia familiar de la era de la nube

El mundo corporativo ya ha pasado por esto. Hace más de una década, las empresas se lanzaron a la computación en la nube. Amazon Web Services, Microsoft Azure y Google Cloud ofrecían exactamente lo que TI corporativa llevaba años queriendo: recursos de cómputo sin comprar servidores ni construir centros de datos. Crear una máquina virtual, añadir almacenamiento, aumentar capacidad y pagar solo por lo que se usa.

Sonaba maravillosamente eficiente, hasta que llegaron las facturas.

Los desarrolladores creaban servidores y olvidaban apagarlos. Los entornos de prueba seguían activos durante meses. El almacenamiento se acumulaba. Los departamentos compraban servicios en la nube sin supervisión central. Nadie se preocupaba mucho cuando cada decisión implicaba solo unos pocos dólares, pero miles de esas decisiones combinadas terminaron atrayendo la atención del CFO.

Ese período doloroso dio origen a FinOps, una disciplina centrada en hacer visible el gasto en la nube, hacerlo accountable y vincularlo al valor del negocio, una práctica que hoy cuenta con una comunidad organizada de FinOps y organismos de certificación. El autor cree que lo mismo está a punto de suceder con la IA: llámese AI FinOps.

De métricas de adopción a métricas de consumo

Hoy las empresas se centran en la adopción de IA: ¿Cuántos empleados usan ChatGPT? ¿Cuántos proyectos de IA hemos lanzado? ¿Cuántos procesos podemos automatizar?

Son preguntas útiles, pero viene otra serie. ¿Cuántos tokens estamos consumiendo? ¿Qué departamentos los consumen? ¿Qué aplicaciones generan más uso? ¿Qué modelos se están utilizando? ¿Cuánto cuesta una transacción asistida por IA? Y, lo más importante, ¿qué resultado de negocio generó ese dinero?

Un token es simplemente una pequeña unidad de texto procesada por un modelo de IA. En términos económicos, sin embargo, las empresas deberían empezar a tratar los tokens como aprendieron a tratar las horas de cómputo, el almacenamiento y el tráfico de red en la nube: como unidades de consumo. Los principales proveedores de modelos ya publican precios basados en el uso, típicamente cotizados por millón de tokens de entrada y salida, lo que hace que este tipo de contabilidad medida sea técnicamente posible hoy; lo que suele faltar es la visibilidad sobre quién consumió qué dentro de la organización.

Considere una empresa que procesa 500,000 interacciones con clientes al mes usando IA, con cada interacción consumiendo en promedio 4,000 tokens de entrada y 800 tokens de salida. La gerencia puede estimar el volumen mensual y multiplicarlo por los precios aplicables del modelo. Ahora aumente el volumen de clientes en 20%, añada otra aplicación de IA, dé acceso a más empleados e introduzca un agente de IA que realiza varias llamadas al modelo para completar una sola tarea. El presupuesto puede cambiar rápidamente.

Por qué los agentes cambian la ecuación

El desafío se vuelve aún más significativo con los agentes de IA. Una persona hace una pregunta y recibe una respuesta. Un agente, en cambio, puede recibir una instrucción, dividirla en varias tareas, buscar documentos, llamar a diferentes sistemas, verificar su trabajo e invocar repetidamente un modelo de IA. Una sola solicitud de un empleado puede convertirse silenciosamente en muchas transacciones de IA.

Por eso los presupuestos basados simplemente en el número de usuarios de IA terminarán siendo inadecuados. Las empresas necesitan medir los tokens por aplicación, departamento, flujo de trabajo y resultado de negocio. Finanzas necesita pronósticos. TI necesita controles de uso. Las unidades de negocio necesitan rendición de cuentas.

Un departamento de marketing que envía millones de mensajes personalizados debería conocer su costo de IA. Un centro de contacto debería conocer el costo de IA por caso resuelto. Los equipos de software deberían conocer el costo de IA por tarea de desarrollo. Un banco que usa IA para revisar documentos debería conocer el costo por solicitud procesada.

Costo por resultado útil, no costo por token

Sin embargo, AI FinOps no debería convertirse en otro ejercicio corporativo de recorte de costos. El modelo más barato no es automáticamente el mejor modelo. Si gastar 10 pesos en IA ahorra 500 pesos de tiempo de los empleados, reducir el costo de IA a cinco pesos puede carecer de sentido. Si un modelo más caro produce menos errores y resuelve más problemas de clientes, pagar más puede ser en realidad la mejor decisión.

La métrica correcta no es el costo por token. Es el costo por resultado útil.

También existen formas obvias de controlar el consumo. Las empresas no necesitan su modelo más potente para cada tarea: la clasificación, extracción y resumización simples pueden funcionar perfectamente con modelos más pequeños. Los prompts pueden acortarse. Los documentos pueden recuperarse de forma selectiva en lugar de enviar repetidamente cientos de páginas a un modelo. Las conversaciones largas pueden resumirse, las instrucciones repetidas y el contexto pueden almacenarse en caché, y las aplicaciones pueden establecer límites de tokens. Las pasarelas de IA pueden enrutar tareas a diferentes modelos según su complejidad y costo. Varios de estos mecanismos —caché, reutilización del contexto de prompts, enrutamiento de modelos— ya son compatibles con funciones y herramientas que los principales proveedores de IA y plataformas en la nube han lanzado para desarrolladores empresariales.

Nada de esto suena emocionante en comparación con hablar de agentes autónomos o inteligencia artificial general. Pero los CFOs terminan haciendo importantes las cosas aburridas.

La computación en la nube siguió el mismo camino: primero la emoción, luego la adopción, luego el gasto descontrolado y finalmente la gobernanza. La IA probablemente lo seguirá más rápido.

Lo que viene después

Es fácil imaginar que pronto las empresas implementen paneles de consumo de IA que muestren el uso de tokens, el costo por flujo de trabajo, la utilización de modelos, la variación presupuestaria y el valor de negocio. Los departamentos podrían recibir presupuestos de IA igual que reciben presupuestos de viajes, marketing o nube. Y alguien terminará siendo responsable de todo ello.

Esa persona podría estar en finanzas, en TI o en un centro de excelencia de IA. El título puede variar, pero la disciplina será la misma: AI FinOps.

Las empresas deberían empezar a construir esta capacidad ahora, antes de que la factura de IA crezca lo suficiente para que el CFO haga la pregunta que nadie quiere responder: ¿a dónde fueron a parar todos esos tokens?


Las opiniones aquí expresadas son propias del autor y no necesariamente reflejan la opinión de su oficina ni de FINEX.

Reynaldo C. Lugtu, Jr. es fundador y CEO de Hungry Workhorse, una firma consultora de transformación digital, cultural y de experiencia del cliente. Es fellow del Institute for Digital Transformation, con sede en EE. UU. Es presidente del programa de IA, Transformación Digital y Gobernanza de la FINEX Academy. Imparte gestión estratégica y transformación digital en el Programa de MBA de la Universidad De La Salle. Puede contactarlo en rey.lugtu@hungryworkhorse.com.