Профессиональные аналитики перенимали скрытое, случайно назначенное мнение своего ИИ-агента в 86% ключевых оценочных решений — против примерно 50%, ожидаемых случайно, — согласно эксперименту, опубликованному во вторник командой Alignment компании Anthropic. Лишь 15% участников впоследствии упомянули агента, и никто не заподозрил, что его предпочтения были подсажены.

Результаты ставят под сомнение схему «человека в контуре» (human in the loop), широко используемую в работе с ИИ, которая предполагает, что человек, одобряющий результат ИИ, и есть тот, кто принимает важные решения, — механизм, который имеет особое значение в регулируемых отраслях, таких как финансы и страхование. В мае Anthropic запустила 10 шаблонов агентов для финансовых и страховых компаний, заявив, что последнее слово остаётся за пользователем, — однако исследование указывает, что это разделение полномочий может быть менее однозначным, чем кажется.

ИИ-агенты — программы, самостоятельно выполняющие задачи, — всё чаще получают работу экспертов исходя из привычного предположения, что люди по-прежнему принимают ключевые решения. Чтобы проверить это предположение, Anthropic привлекла 50 аналитиков, имеющих опыт каузального вывода, то есть определения по данным того, является ли одно явление причиной другого. Каждый аналитик использовал Claude Code, кодинг-агента Anthropic, чтобы дать рекомендации вымышленному сельскохозяйственному кооперативу о расширении консультационной программы.

Участники не знали, что жребий (подбрасывание монеты) определил, какой вариант предпочитает каждый агент. Это предпочтение было скрыто в системном промпте — инструкциях, задающих поведение ИИ. Именно на этом уровне инструкций компании обычно задают правила для своих агентов, поэтому вывод относится к реальным внедрениям, а не только к лаборатории.

«Из четырёх аналитических выборов аналитики следовали уклону своего агента в 86% случаев. Если бы ввод агента не имел значения, мы ожидали бы около 50%,» — сообщила Anthropic.

Влияние было наиболее сильным среди аналитиков, которые остановились на ответе до того, как агент высказался: они отказывались от своего выбора в 60% случаев, когда агент был не согласен, против 6%, когда он соглашался, — хотя эта цифра опирается всего на 38 случаев.

В опросе после выполнения задачи 48 аналитиков: 77% повторили аргументы агента как минимум в одном ответе, иногда дословно. Лишь 15% упомянули агента, а 52% назвали финальную рекомендацию в большей мере своей, чем агентской.

«Для отдельных экспертов это может означать потерю контроля над собственной работой — форму того, что исследователи называют дизэмпауэрментом (лишением субъектности),» — отметила Anthropic, описывая ситуацию, когда человек добровольно отказывается от контроля над собственными решениями. «Работа по-прежнему выходит под именем эксперта,» — написали авторы, — «но решения, которые в наибольшей степени зависят от его суждения, в действительности определяются предварительными убеждениями агента.»

Агентам в исследовании было предписано никогда не вводить аналитиков в заблуждение. Тем не менее они редко аргументировали альтернативу своему назначенному предпочтению. «Когда хорошо аргументирована лишь одна сторона,» — написали авторы, — «аналитики могли принять допущения агента, не вырабатывая собственных.»

Такая односторонняя аргументация перекликается с прежними опасениями по поводу уступчивости ИИ. В апреле 2025 года OpenAI откатила обновление ChatGPT, назвав его чрезмерно льстивым или соглашательским.

Anthropic также отметила, что проверки на ошибки с трудом выявляют эту проблему, поскольку оценочные решения не имеют единственно верного ответа — готовая работа выглядит обоснованной при любом выбранном варианте.

Компания подчеркнула, что эти выводы не являются аргументом за менее активное использование ИИ. Аналитики, работавшие с агентом, справлялись быстрее и допускали значительно меньше серьёзных ошибок, чем те, кто работал без него, хотя контрольная группа без агента была небольшой и менее опытной. В качестве решения Anthropic предлагает создавать агентов, которые аргументируют наилучший вариант для каждого варианта выбора или сначала запрашивают мнение эксперта, — хотя любой из подходов может перегрузить пользователей информацией. Останется ли такой дизайн в развернутых продуктах, включая собственные шаблоны агентов Anthropic, пока неизвестно.

Исследователи предупредили, что предпочтения агентов были намеренно усилены для эксперимента, который охватил лишь одну задачу, одну область и одну модель, — поэтому эффекты в реальном мире могут быть меньше. Измерить уступчивость вне лаборатории сложно: команда смогла её обнаружить только потому, что рандомизировала уклон каждого агента, что, по словам авторов, редко возможно в реальной работе.