Корпоративный искусственный интеллект переходит от диалога к исполнению задач, поскольку автоматизированные системы потребляют значительно больше вычислительных ресурсов моделей, чем обычные пользователи-люди.

По данным OpenRouter, к 10 августа объём агентных токенов в среднем за семь дней составил около 7,3 трлн — примерно в 14 раз больше, чем в начале февраля. За тот же период объём использования, инициированного людьми, достиг около 1,4 трлн токенов, что в 2,8 раза выше показателя начала февраля. Таким образом, в трафике, проходящем через платформу, ИИ-агенты потребляли более чем в пять раз больше токенов, чем люди.

Токены — фрагменты текста, которые языковые модели читают и генерируют, — также являются единицей, по которой большинство провайдеров измеряет и тарифицирует использование API, поэтому данное соотношение напрямую отражает, куда направляются вычислительные ресурсы для вывода. OpenRouter — сервис маршрутизации, направляющий запросы разработчиков к моделям различных провайдеров, — отличает агентную активность по таким сигналам, как вызовы инструментов, реплики диалога и характерные временные паттерны. Эти цифры отражают трафик OpenRouter, а не весь рынок генеративного ИИ, однако они показывают, насколько быстро растут автоматизированные рабочие нагрузки. В отличие от чат-бота, отвечающего на один промпт, ИИ-агенты могут изучать информацию, вызывать инструменты, проверять результаты, пересматривать шаги и повторять действия до завершения работы.

Корпоративный ИИ переходит от чата к автоматизированным рабочим процессам

Отчёт OpenAI Enterprise Signals указывает на тот же переход внутри компаний, особенно среди наиболее активных пользователей. Передовые компании, определяемые как топ-10% корпоративных пользователей ИИ, генерировали в 8,3 раза больше выходных токенов на одного активного пользователя, чем обычные компании.

В январе этот разрыв составлял 2,6 раза, что свидетельствует об углублении различий между обычным корпоративным внедрением и наиболее интенсивными пользователями. К июню Codex, ИИ-агент OpenAI для разработки программного обеспечения, генерировал 64% совокупного объёма выходных токенов Codex и ChatGPT среди корпоративных клиентов.

Число еженедельно активных пользователей Codex в юридической сфере с февраля выросло в 108 раз, тогда как в продажах и найме — в 41 раз. Эта структура показывает, что корпоративное использование расширяется за пределы чата — в программирование, создание документов, исследования и другие многоэтапные рабочие процессы.

OpenAI также сообщила, что 21% активных пользователей в передовых компаниях еженедельно использовали Plugins, по сравнению с 9% в обычных компаниях. Это различие усиливает сдвиг в сторону систем, способных использовать инструменты, создавать файлы и выполнять задачи, а не только отвечать на вопросы.

Codex, Plugins и кэширование движут переходом за пределы чата

Andreessen Horowitz, ссылаясь на данные OpenRouter, сообщила, что более 85% агентного использования токенов сейчас приходится на кэшированные промпты. Кэширование промптов позволяет системам повторно использовать ранее обработанный контекст вместо повторного вычисления идентичных входных данных при повторяющихся вызовах.

По словам OpenAI, кэширование может снизить задержки и затраты на входные данные, делая эксплуатацию рабочих нагрузок с повторяющимся контекстом дешевле. Поскольку вывод, как правило, тарифицируется по токенам, повторное использование контекста вместо его повторного вычисления напрямую влияет на стоимость длинных повторяющихся последовательностей вызовов, которые выполняют агенты. Тем не менее такие рабочие нагрузки по-прежнему требуют инфраструктуры, способной хранить и быстро повторно использовать большие контексты наряду с GPU, обрабатывающими вывод.

Это повышает значение объёма памяти и пропускной способности по мере того, как компании передают более сложные задачи автоматизированным системам. Этот сдвиг также становится испытанием для традиционного программного обеспечения автоматизации рабочих процессов.

A16z утверждает, что растущее внедрение агентов может оказать давление на продукты, построенные вокруг фиксированных шагов автоматизации, поскольку пользователи переходят на системы, способные рассуждать при выполнении задач. Тем не менее одних лишь изменений веб-трафика недостаточно для доказательства вытеснения, а Zapier, Make и n8n — платформы, соединяющие бизнес-приложения для автоматизации многоэтапных задач, — также добавляют ИИ-функции.

В целом ИИ-агенты формируют растущий спрос на токены, поскольку корпоративное программное обеспечение выполняет всё более длинные цепочки задач от имени пользователей. По мере расширения этой модели корпоративный ИИ всё меньше определяется объёмом чатов и всё больше — объёмом работы, делегированной программному обеспечению, а уже доступные показатели — доля агентов в токенном трафике, разрыв в выходных токенах между передовыми и обычными компаниями и доля кэшированных промптов — покажут, насколько далеко зайдёт этот процесс.