企业人工智能正从对话转向执行,自动化系统消耗的模型容量已远超普通人类用户。

截至8月10日,OpenRouter记录的智能体token按七天平均值计算约为7.3万亿,大约是2月初水平的14倍。同期,人类驱动的用量达到约1.4万亿token,较2月初增长2.8倍。这意味着,在该平台路由的全部流量中,AI智能体消耗的token是人类用户的5倍以上。

Token——即语言模型读取和生成的文本片段——也是大多数提供商计量和计费API用量的单位,因此这一比例可直接衡量推理算力的流向。OpenRouter是一家将开发者请求路由到多家提供商模型的路由服务,它通过工具调用、对话轮次和时序模式等信号来区分智能体活动。这些数据反映的是OpenRouter的流量,而非整个生成式AI市场,但它们表明自动化工作负载的扩张速度之快。与只回答单个提示的聊天机器人不同,AI智能体在完成工作之前可以检查信息、调用工具、测试输出、修改步骤并重复操作。

企业AI从聊天转向自动化工作流

OpenAI的《Enterprise Signals》报告显示,企业内部也在发生同样的转变,尤其是在最重度用户之中。所谓前沿企业(frontier firms),即企业AI用户中排名前10%的公司,其每名活跃用户生成的输出token是普通企业的8.3倍。

这一差距在1月为2.6倍,表明普通企业应用与最密集用户之间的分化正在扩大。到6月,OpenAI面向软件开发的智能体Codex所产生的输出token,已占企业客户中Codex与ChatGPT合计输出token的64%。

自2月以来,法律领域的Codex周活跃用户增长了108倍,而销售和招聘领域为41倍。这种构成表明,企业应用正超越聊天,扩展到编程、文档创建、研究和其他多步骤工作流。

OpenAI还报告称,前沿企业中21%的活跃用户每周使用插件,而普通企业中这一比例为9%。这一差异进一步印证了向能够使用工具、创建文件并完成任务的系统的转变,而不仅仅是回答问题。

Codex、插件与缓存推动超越聊天的转变

Andreessen Horowitz援引OpenRouter的数据称,目前超过85%的智能体token用量来自缓存提示。提示缓存使系统能够复用先前已处理的上下文,而不是在重复调用时重新计算相同的输入。

OpenAI表示,缓存可以降低延迟和输入成本,使重复上下文工作负载的运行成本更低。由于推理通常按token计费,复用上下文而非重新计算,会直接影响智能体所运行的长序列重复调用的成本。不过,这些工作负载仍然需要能够在处理推理的GPU之外存储并快速复用大型上下文的基础设施。

随着企业将更复杂的任务委托给自动化系统,内存容量和带宽的重要性随之上升。这一转变也对传统工作流软件构成了考验。

A16z认为,随着用户采用能够对任务进行推理的系统,智能体采用率的上升可能会对围绕固定自动化步骤构建的产品构成压力。即便如此,仅凭网络流量的变化并不能证明替代已经发生,而Zapier、Make和n8n——这些连接商业应用以自动化多步骤任务的平台——也在增加AI功能。

总体而言,随着企业软件代表用户执行更长链条的工作,AI智能体正在产生更多token需求。随着这一模式的扩大,企业AI的定义将越来越少取决于聊天量,而越来越多取决于委托给软件的工作量;而目前已在视野中的衡量指标——智能体在token流量中的占比、前沿企业的产出差距以及缓存提示的份额——将显示这一趋势能走多远。