Исследования мультиагентных ИИ-систем набирают обороты: коллективы в академической и промышленной сферах изучают, как координация между несколькими ИИ-моделями может повысить производительность сверх уровня, достижимого любой отдельной моделью. Фреймворки с открытым исходным кодом, такие как Microsoft AutoGen, CrewAI и LangChain LangGraph, снизили порог входа для экспериментов, упростив разработчикам объединение нескольких агентов, которые распределяют задачи, обмениваются сообщениями и приходят к общим ответам. Однако конкретное утверждение о том, что механизмы обмена ответами могут почти удвоить точность, не имеет надёжного подтверждения в первоисточниках современной литературы.

Что на самом деле показывает исследование

Согласно существующим исследованиям, мультиагентные системы продемонстрировали повышение производительности до 81% на определённых распараллеливаемых задачах за счёт координации. Напротив, в независимых конфигурациях, где агенты недостаточно скоординированы, усиление ошибок может достигать значений в 17,2 раза выше, чем в должным образом координированных системах.

Использование многократных вызовов модели на стохастических больших языковых моделях — по сути, многократный запрос к одной и той же модели с последующим агрегированием ответов — может заметно повысить точность на таких установленных бенчмарках, как HumanEval. Однако сложные архитектуры агентов несут риск неоправданного роста вычислительных расходов без пропорционального улучшения точности. Для организаций, оценивающих агентный ИИ для продакшен-нагрузок, кривая стоимости на запрос становится критически важным показателем развёртывания: каждый дополнительный агент, раунд голосования или цикл уточнения умножает затраты на инференс, а прирост точности зачастую демонстрирует убывающую отдачу.

Неожиданный поворот с токенизацией

Одно исследование, которое действительно демонстрирует почти двукратный рост точности, происходит из совершенно иной области ИИ-исследований. Исследование, опубликованное Capital One, показало, что ИИ-модели и модели машинного обучения, обученные на токенизированных медицинских данных, достигли почти вдвое большей точности по сравнению с моделями, использующими традиционные методы маскирования данных. Этот вывод заслуживает внимания, однако он относится к методологии подготовки данных, а не к обмену ответами между агентами. Токенизированные данные сохраняют больше базовых статистических взаимосвязей, на которые опираются модели в процессе обучения, тогда как традиционные методы маскирования, как правило, разрушают эти закономерности.

Почему разрыв в точности сложнее преодолеть, чем кажется

Если один агент в группе выдаёт правильный ответ, а остальные — нет, наивный механизм обмена может фактически снизить точность, а не повысить её. Системе требуется некий способ определения правильных ответов до их усиления — задача, по своей сути аналогичная получению правильного ответа в принципе.

Более продвинутые подходы используют механизмы голосования, взвешивание по уровню уверенности или итеративные циклы уточнения, в рамках которых агенты критикуют рассуждения друг друга. Эти методы умножают затраты на инференс и вносят задержку. Кроме того, производительность на академических бенчмарках не всегда переводится в надёжность в реальных условиях: модель, демонстрирующая высокие результаты на HumanEval, может всё так же уверенно генерировать галлюцинации в продакшене. Этот разрыв между результатами на бенчмарках и надёжностью в развёртывании остаётся одной из главных проблем для команд, создающих мультиагентные системы, и объясняет, почему предприятия, внедряющие агентные рабочие процессы, всё чаще сосредотачиваются на инструментах оценки и защитных механизмах, а не исключительно на рекламных показателях точности.