ActualitésActionsL'étude inédite de Visa révèle que les agents d'achat IA échouent près d'une fois sur deux

L'étude inédite de Visa révèle que les agents d'achat IA échouent près d'une fois sur deux

Auteur: Fortune Crypto·

Points clés

  • •Visa a chargé 22 agents IA d'accomplir 15 tâches d'achat chacun — 330 tentatives au total — portant sur une télévision, un ordinateur portable et un appareil capillaire, avec un taux de réussite global d'environ 57 % seulement.
  • •La version Aragon 4 du Gemini de Google et la version Wonder du Making de Meta ont terminé à égalité en tête, réalisant chacun des achats réussis 82 % du temps, devant un agent Claude à 76 % et un agent OpenAI à 64 %.
  • •Les taux de réussite étaient corrélés au coût des modèles : les cinq modèles les plus chers ont atteint en moyenne 67 % de réussite contre 50 % pour les cinq moins chers, ce qui signifie que les résultats dépendent fortement du modèle qui propulse l'agent.
  • •De nombreux agents ont échoué parce qu'ils ont acheté le mauvais produit ou n'ont rien proposé d'adapté, alors que les acheteurs, à l'image de vrais consommateurs, ne révélaient que certains attributs requis, comme la compatibilité avec une console, une fenêtre de retour de 30 jours ou le Dolby Vision.
  • •Visa et son rival Mastercard construisent des outils et sensibilisent les marchands pour permettre le commerce agentique, tandis que la responsabilité juridique en cas d'achats non autorisés ou de fraude reste non résolue, même si Rubail Birwadker, Directeur mondial de la croissance de Visa, s'attend à ce que ces questions se règlent avec le temps.
L'étude inédite de Visa révèle que les agents d'achat IA échouent près d'une fois sur deux

À mesure que des agents IA personnels comme Muse et Claude s'intègrent à la vie quotidienne, de plus en plus de personnes leur confient des tâches d'achat. Mais une nouvelle étude de Visa suggère que la technologie n'est pas encore à la hauteur : dans une expérience inédite, le géant des paiements a chargé 22 agents IA différents d'acheter trois objets du quotidien — une télévision, un ordinateur portable et un appareil capillaire — et le taux de réussite global n'a atteint qu'environ 57 %.

Les résultats sont publiés sur un nouveau site web de Visa qui détaille l'issue de 15 expéditions d'achat distinctes pour chacun des 22 agents — 330 tentatives au total. Sans grande surprise, les agents propulsés par des modèles d'IA plus avancés ont obtenu les meilleurs résultats. La version Aragon 4 du Gemini de Google et la version Wonder du Making de Meta ont décroché les meilleurs scores, réalisant chacun un achat réussi 82 % du temps. Un agent Claude s'est classé troisième avec un taux de réussite de 76 %, tandis qu'un agent OpenAI a terminé sixième à 64 %.

Les données publiées par Visa tracent la performance des 22 modèles, en portant le taux de réussite de chaque agent sur l'axe vertical et le coût de chaque demande d'achat sur l'axe horizontal. L'entreprise note un écart clairement lié au prix : les cinq modèles les plus chers ont réussi en moyenne 67 % du temps, tandis que les cinq moins chers ont obtenu 50 %. Pour les consommateurs qui hésitent à déléguer un achat, cet écart implique que les résultats dépendent actuellement fortement du modèle qui propulse l'agent.

Une partie des difficultés des agents tient à une réalité simple : les motivations derrière un achat donné sont souvent complexes et, dans de nombreux cas, les consommateurs manquent d'informations et ne savent pas exactement ce qu'ils veulent.

L'expérience de Visa a été conçue pour reproduire cette dynamique. Dans les tâches d'achat de téléviseurs, les acheteurs — eux-mêmes des agents — se voyaient attribuer une liste d'attributs requis pour le téléviseur, comme la compatibilité avec la console de jeux d'un enfant, une fenêtre de retour de 30 jours et un modèle doté du Dolby Vision. Comme de vrais consommateurs, l'acheteur fournissait volontairement certaines informations, mais pas toutes.

Résultat : pour réussir l'expérience de Visa, un agent IA devait interagir avec l'acheteur de manière à obtenir les informations manquantes dans un délai raisonnable. Réussir signifiait acheter un téléviseur correspondant aux besoins de l'acheteur. Dans de nombreux cas, les agents ont plutôt acheté le mauvais produit ou n'ont tout simplement rien proposé d'adapté.

« Du point de vue de la confiance comme de la technologie, nous n'y sommes pas encore. Mais nous allons bientôt entrer dans un monde où les consommateurs pourront faire confiance et déléguer », a déclaré à Fortune Rubail Birwadker, Directeur mondial de la croissance de Visa.

Birwadker a souligné que l'achat par agents en était encore à ses balbutiements, mais progressait rapidement. Il a ajouté que la découverte de produits — l'objet de l'expérience de Visa — n'est qu'un des éléments de ce nouveau type de commerce que détaillants et entreprises d'IA s'efforcent encore de maîtriser.

Pour que les agents IA entrent dans le courant dominant de l'achat, les entreprises devront également garantir des paiements fluides et sécurisés — un défi que Visa et son rival Mastercard cherchent déjà à relever en sensibilisant les marchands et en construisant des outils facilitant ce qu'on appelle le commerce agentique, dans lequel des systèmes IA parcourent, sélectionnent et paient des biens au nom d'un client.

Des questions juridiques nouvelles et non résolues se posent également concernant les agents IA qui font des achats. Plus particulièrement, on ne sait toujours pas qui doit assumer la responsabilité lorsque les agents effectuent des achats non autorisés ou commettent une fraude. Selon Birwadker, ces questions se résoudront avec le temps, de la même manière qu'une génération antérieure de consommateurs et de marchands a appris à utiliser le commerce électronique — tout en ajoutant que l'achat par agents constituera une expérience très différente de celle du shopping en ligne actuel.

En annonçant les résultats de son expérience d'achat par agents, Visa a également lancé un site web permettant aux consommateurs d'interagir avec les agents utilisés dans son enquête — l'occasion de tester de première main les compétences d'achat des agents.

Cet article a été initialement publié sur Fortune.com.