НовостиАкцииИсследование Visa показало: ИИ-агенты совершают покупки с ошибками почти в половине случаев

Исследование Visa показало: ИИ-агенты совершают покупки с ошибками почти в половине случаев

Автор: Fortune Crypto·

Ключевые выводы

  • •Visa поручила 22 ИИ-агентам выполнить по 15 задач на покупки — всего 330 попыток, включавших покупку телевизора, ноутбука и прибора для укладки волос; общий уровень успеха составил лишь около 57%.
  • •Версия Aragon 4 модели Google Gemini и версия Wonder модели Meta Making разделили первое место, каждая успешно совершала покупки в 82% случаев, опередив агента Claude с 76% и агента OpenAI с 64%.
  • •Уровень успеха коррелировал со стоимостью модели: пять самых дорогих моделей в среднем достигали успеха в 67% случаев против 50% у пяти самых дешевых, то есть результат сильно зависит от модели, на которой работает агент.
  • •Многие агенты ошибались, покупая не тот товар или не предлагая ничего подходящего, когда «покупатели», как реальные потребители, сообщали лишь часть требуемых характеристик — например, совместимость с консолью, окно возврата в 30 дней или Dolby Vision.
  • •Visa и конкурент Mastercard создают инструменты и обучают мерчантов для агентной коммерции, однако юридическая ответственность за несанкционированные покупки или мошенничество остается нерешенным вопросом, хотя глобальный директор Visa по развитию Рубайл Бирвадкер ожидает, что со временем он будет урегулирован.
Исследование Visa показало: ИИ-агенты совершают покупки с ошибками почти в половине случаев

По мере того как персональные ИИ-агенты, такие как Muse и Claude, становятся частью повседневной жизни, все больше людей поручают им задачи, связанные с покупками. Однако новое исследование Visa показывает, что эта технология пока не готова к такой работе: в беспрецедентном эксперименте платежный гигант поручил 22 различным ИИ-агентам купить три повседневных товара — телевизор, ноутбук и прибор для укладки волос, — и общий уровень успеха составил лишь около 57%.

Результаты опубликованы на новом сайте Visa, где подробно представлены итоги 15 отдельных походов за покупками каждого из 22 агентов — всего 330 попыток. Возможно, неудивительно, что лучше всего справились агенты на более передовых ИИ-моделях. Версия Aragon 4 модели Google Gemini и версия Wonder модели Meta Making получили самые высокие оценки, каждая из них успешно совершала покупку в 82% случаев. Агент Claude занял третье место с показателем 76%, а агент OpenAI оказался шестым с результатом 64%.

Опубликованные Visa данные отражают результаты всех 22 моделей: на вертикальной оси отложен уровень успеха каждого агента, а на горизонтальной — стоимость выполнения каждого запроса на покупку. Компания отмечает явную разницу, связанную с ценой: пять самых дорогих моделей в среднем добивались успеха в 67% случаев, тогда как пять самых дешевых — в 50%. Для потребителей, взвешивающих, стоит ли делегировать покупку агенту, этот разброс означает, что результат сейчас сильно зависит от того, какая модель лежит в основе агента.

Отчасти трудности агентов объясняются простым фактом: мотивация любой покупки зачастую сложна, и во многих случаях потребители не располагают информацией и сами не уверены, чего хотят.

Эксперимент Visa был задуман именно так, чтобы отразить эту реальность. В задачах по покупке телевизора «покупателям» — которые сами были агентами — назначался список необходимых характеристик: например, совместимость с игровой консолью ребенка, окно возврата в течение 30 дней и наличие технологии Dolby Vision. Как и реальные потребители, покупатель сообщал часть информации, но не всю.

В итоге, чтобы добиться успеха в эксперименте Visa, ИИ-агент должен был взаимодействовать с покупателем так, чтобы за разумное время выяснить недостающую информацию. Успех означал покупку телевизора, соответствующего потребностям покупателя. Однако во многих случаях агенты покупали не тот товар или вообще не предлагали ничего подходящего.

«С точки зрения доверия и технологий мы туда еще не добрались. Но вскоре мы войдем в мир, где потребители смогут доверять и делегировать», — рассказал глобальный директор Visa по развитию Рубайл Бирвадкер в интервью Fortune.

Бирвадкер отметил, что шопинг с помощью агентов пока находится на ранней стадии, но развивается стремительно. Он добавил, что поиск товаров — в центре внимания эксперимента Visa — является лишь одним из элементов этого нового типа коммерции, который ритейлеры и ИИ-компании только пытаются постичь.

Чтобы ИИ-агенты вошли в покупательный мейнстрим, компаниям предстоит также наладить плавные и безопасные платежи — задачу, над которой Visa и ее конкурент Mastercard уже работают, обучая мерчантов и создавая инструменты для так называемой агентной коммерции, в которой ИИ-системы просматривают, выбирают и оплачивают товары от имени клиента.

Существуют и новые, пока не решенные юридические вопросы, связанные с покупками ИИ-агентов. Прежде всего, до сих пор неясно, кто должен нести ответственность, когда агенты совершают несанкционированные покупки или мошенничество. По словам Бирвадкера, эти вопросы со временем будут решены — так же, как предыдущее поколение потребителей и мерчантов научилось пользоваться электронной коммерцией, — хотя он добавил, что шопинг с помощью агентов станет совершенно иным опытом по сравнению с сегодняшними онлайн-покупками.

Наряду с объявлением результатов эксперимента Visa запустила сайт, позволяющий потребителям взаимодействовать с агентами, участвовавшими в исследовании, — шанс firsthand проверить их навыки покупателя.

Этот материал был впервые опубликован на Fortune.com.