Lo studio inedito di Visa rivela: gli agenti AI falliscono nel shopping quasi il 50% delle volte
Punti chiave
- •Visa ha incaricato 22 agenti AI di completare 15 compiti di shopping ciascuno—330 tentativi in totale—riguardanti una televisione, un laptop e un dispositivo per capelli, con un tasso di successo complessivo di appena il 57%.
- •La versione Aragon 4 di Gemini di Google e la versione Wonder di Making di Meta hanno ottenuto i punteggi più alti, completando acquisti riuscati nell'82% dei casi, davanti a un agente Claude al 76% e a un agente OpenAI al 64%.
- •I tassi di successo erano correlati al costo del modello: i cinque modelli più costosi avevano una media di successo del 67% contro il 50% dei cinque più economici, il che significa che i risultati dipendono in gran parte dal modello che alimenta l'agente.
- •Molti agenti hanno fallito perché hanno acquistato il prodotto sbagliato o non hanno suggerito nulla di adatto quando gli acquirenti, riflettendo i consumatori reali, divulgavano solo alcune delle caratteristiche richieste, come la compatibilità con la console, una finestra di reso di 30 giorni o il Dolby Vision.
- •Visa e la rivale Mastercard stanno sviluppando strumenti e formando i commercianti per abilitare il commercio agentico, mentre la responsabilità legale per acquisti non autorizzati o frodi resta irrisolta, anche se il Global Head of Growth di Visa, Rubail Birwadker, si aspetta che tali questioni si risolvano col tempo.

Con l'affermarsi degli agenti AI personali come Muse e Claude nella vita quotidiana, un numero crescente di persone affida loro compiti di shopping. Ma un nuovo studio di Visa suggerisce che la tecnologia non è ancora all'altezza del compito: in un esperimento senza precedenti, il gigante dei pagamenti ha incaricato 22 diversi agenti AI di acquistare tre oggetti di uso quotidiano—una televisione, un laptop e un dispositivo per capelli—con un tasso di successo complessivo di appena il 57%.
I risultati sono pubblicati su un nuovo sito web di Visa che descrive nel dettaglio l'esito di 15 diverse spedizioni di shopping effettuate da ciascuno dei 22 agenti—330 tentativi in totale. Forse non a sorpresa, gli agenti basati su modelli AI più all'avanguardia hanno ottenuto i risultati migliori. La versione Aragon 4 di Gemini di Google e la versione Wonder di Making di Meta hanno segnato i punteggi più alti, completando un acquisto riuscito nell'82% dei casi. Un agente Claude si è classificato terzo con un tasso di successo del 76%, mentre un agente OpenAI è arrivato sesto al 64%.
I dati pubblicati da Visa tracciano le prestazioni di tutti i 22 modelli, riportando il tasso di successo di ciascun agente sull'asse verticale e il costo di ogni richiesta di shopping su quello orizzontale. L'azienda rileva un divario chiaro legato al prezzo: i cinque modelli più costosi hanno avuto successo in media nel 67% dei casi, mentre i cinque più economici si sono fermati al 50%. Per i consumatori che valutano se delegare un acquisto, il divario implica che i risultati dipendono oggi in gran parte dal modello che alimenta l'agente.
Una parte delle difficoltà degli agenti deriva da una realtà semplice: le motivazioni alla base di un qualsiasi acquisto sono spesso complesse e, in molti casi, i consumatori non dispongono di tutte le informazioni e non sono certi di ciò che vogliono.
L'esperimento di Visa è stato progettato per riflettere questa dinamica. Nei compiti di acquisto di una TV, gli acquirenti—a loro volta agenti—hanno ricevuto un elenco di caratteristiche necessarie per la televisione, come la compatibilità con la console di gioco di un figlio, una finestra di reso di 30 giorni e un modello con Dolby Vision. Come nel caso dei consumatori reali, l'acquirente forniva alcune informazioni, ma non tutte.
Il risultato è che, per avere successo nell'esperimento di Visa, un agente AI doveva interagire con l'acquirente in modo da ottenere le informazioni mancanti in un tempo ragionevole. Il successo significava acquistare una TV che corrispondesse alle esigenze dell'acquirente. In molti casi, gli agenti hanno invece acquistato il prodotto sbagliato o non hanno suggerito nulla di adatto.
"Non siamo ancora lì dal punto di vista della fiducia o della tecnologia. Ma presto entreremo in un mondo in cui i consumatori potranno fidarsi e delegare", ha dichiarato a Fortune il Global Head of Growth di Visa, Rubail Birwadker.
Birwadker ha osservato che lo shopping guidato dagli agenti è ancora agli albori ma sta avanzando rapidamente. Ha aggiunto che la scoperta del prodotto—l'obiettivo dell'esperimento di Visa—è solo un elemento di questo nuovo tipo di commercio che rivenditori e aziende AI stanno cercando di decifrare.
Affinché gli agenti AI entrino nel mainstream dello shopping, le aziende dovranno garantire anche pagamenti fluidi e sicuri—una sfida che Visa e la rivale Mastercard stanno già affrontando formando i commercianti e sviluppando strumenti per facilitare il cosiddetto commercio agentico, in cui i sistemi AI sfogliano, selezionano e pagano beni per conto del cliente.
Esistono inoltre nuove e irrisolte questioni legali legate allo shopping degli agenti AI. La più rilevante: rimane poco chiaro chi debba assumersi la responsabilità quando gli agenti effettuano acquisti non autorizzati o commettono frodi. Secondo Birwadker, queste questioni si risolveranno col tempo, così come una generazione precedente di consumatori e commercianti ha imparato a usare l'e-commerce—anche se ha aggiunto che lo shopping basato sugli agenti sarà un'esperienza molto diversa da come si acquista online oggi.
Oltre ad annunciare i risultati del suo esperimento di shopping agentico, Visa ha anche lanciato un sito web che consente ai consumatori di interagire con gli agenti utilizzati nella sua indagine—un'occasione per testare in prima persona le capacità di shopping degli agenti.
Questo articolo è stato originariamente pubblicato su Fortune.com.