Visaの世界初の調査で、AIショッピングエージェントは半数近くのタスクに失敗することが判明
重要ポイント
- •Visaは22種類のAIエージェントにそれぞれ15件のショッピングタスク(合計330回の試行)を指示し、テレビ、ノートパソコン、ヘアケア機器の購入を試みたが、全体の成功率はわずか約57%にとどまった。
- •GoogleのGeminiのAragon 4版とMetaのMakingのWonder版が最高スコアで並び、いずれも82%の確率で購入に成功した。これにClaudeエージェントの76%、OpenAIエージェントの64%が続いた。
- •成功率はモデルのコストと相関し、最も高価な5モデルの平均成功率は67%だったのに対し、最も安価な5モデルは50%であり、結果はエージェントを搭載するモデルに大きく左右される。
- •多くのエージェントが失敗した理由は、実際の消費者と同様に購入者が子供のゲーム機との互換性、30日間の返品期間、Dolby Vision対応など必要な属性の一部しか開示しない中で、誤った製品を購入したり、適切な製品をまったく提案できなかったりしたためである。
- •VisaとライバルのMastercardはアジェンティック・コマースを実現するためのツール構築と加盟店の教育を進めているが、不正購入や詐欺に関する法的責任は未解決のままである。ただし、Visaのグローバル・ヘッド・オブ・グロースであるRubail Birwadker氏は、こうした問題は時間とともに解決されると見ている。

MuseやClaudeのようなパーソナルAIエージェントが日常生活の一部となるにつれ、ショッピングのタスクをAIに任せる人は増えている。しかし、Visaの新たな調査は、この技術がまだその役割を果たせていないことを示している。世界でも前例のない実験で、同決済大手は22種類のAIエージェントに対し、テレビ、ノートパソコン、ヘアケア機器という3つの日常品の購入を指示したが、全体の成功率はわずか約57%にとどまった。
調査結果はVisaの新ウェブサイトで公開されており、22エージェントそれぞれが行った15回のショッピング試行、合計330件の結果が詳述されている。おそらく想像どおり、より最先端のAIモデルを搭載したエージェントが最も優れた成績を収めた。GoogleのGeminiのAragon 4版とMetaのMakingのWonder版が最高スコアを獲得し、いずれも82%の確率で購入に成功した。Claudeエージェントは76%の成功率で3位に入り、OpenAIエージェントは64%で6位だった。
Visaが公開したデータは、縦軸に各エージェントの成功率、横軸に各ショッピング照会の実行コストを取って、22モデルすべてのパフォーマンスを図示している。同社は価格に連動する明確な差を指摘している。最も高価な5モデルの成功率は平均67%だったのに対し、最も安価な5モデルは50%だった。購入をAIに委任するかどうか検討する消費者にとって、この差は現時点で結果がどのモデルをエージェントが搭載するかに大きく左右されることを意味している。
エージェントが苦戦した理由の一つは、シンプルな現実にある。購入の背景にある動機はしばしば複雑であり、多くの場合、消費者は情報が不足しており、自分が何を欲しいのか確信できない。
Visaの実験は、こうした状況を捉えるよう設計された。テレビの購入タスクでは、購入者自身もエージェントであり、子供のゲーム機との互換性、30日間の返品期間、Dolby Vision対応モデルといった、テレビに必要な属性のリストが与えられた。実世界の消費者と同様に、購入者は一部の情報を自発的に提供するが、すべてを伝えるわけではない。
その結果、Visaの実験で成功するには、AIエージェントが購入者と対話し、妥当な時間内に不足している情報を引き出す必要があった。成功とは、購入者のニーズに合ったテレビを購入することを意味した。しかし多くの場合、エージェントは誤った製品を購入するか、まったく適切な製品を提案できなかった。
「信頼性の面でも技術の面でも、私たちはまだその段階に達していない。しかし間もなく、消費者が信頼して任せられる世界に入ることになるだろう」と、Visaのグローバル・ヘッド・オブ・グロースを務めるRubail Birwadker氏はFortuneに語った。
Birwadker氏は、エージェント主導のショッピングはまだ初期段階にあるものの、急速に進歩していると指摘した。さらに同氏は、Visaの実験の焦点である製品の探索(プロダクトディスカバリー)は、小売企業やAI企業が解明しようとしているこの新しいタイプのコマースの一要素にすぎないと付け加えた。
AIエージェントがショッピングの主流に入るためには、企業はスムーズで安全な決済も実現しなければならない。VisaとライバルのMastercardは、加盟店の教育や、いわゆる「アジェンティック・コマース(AIエージェント・コマース)」を促進するツールの構築を通じて、この課題への対応をすでに進めている。アジェンティック・コマースとは、AIシステムが顧客に代わって商品を閲覧、選択し、支払いを行う形態である。
また、AIエージェントによるショッピングには、新たな未解決の法的問題も存在する。とりわけ、エージェントが不正な購入を行ったり詐欺を犯したりした場合に、誰が責任を負うべきかは依然として不明である。Birwadker氏によれば、これらの問題は、前世代の消費者や加盟店が電子商取引(Eコマース)の使い方を学んだのと同じように、時間の経過とともに解決されていくという。ただし同氏は、エージェントベースのショッピングは、今日のオンラインショッピングとは大きく異なる体験になると付け加えた。
エージェント・ショッピング実験の結果発表とあわせて、Visaは調査で使用されたエージェントと消費者が対話できるウェブサイトも公開した。エージェントのショッピング能力を自ら試す機会となる。
この記事はもともとFortune.comに掲載されたものです。