NoticiasAccionesEstudio pionero de Visa revela que los agentes de compra con IA fallan casi la mitad de las veces

Estudio pionero de Visa revela que los agentes de compra con IA fallan casi la mitad de las veces

Autor: Fortune Crypto·

Puntos clave

  • •Visa instruyó a 22 agentes de IA para completar 15 tareas de compra cada uno, 330 intentos en total, que incluían un televisor, una laptop y un aparato para el cabello, con una tasa de éxito global de solo alrededor del 57%.
  • •La versión Aragon 4 del Gemini de Google y la versión Wonder del Making de Meta empataron con las puntuaciones más altas, completando compras exitosas el 82% de las veces, por encima de un agente Claude con 76% y un agente de OpenAI con 64%.
  • •Las tasas de éxito se correlacionaron con el costo del modelo: los cinco modelos más caros promediaron un 67% de éxito frente al 50% de los cinco más baratos, lo que significa que los resultados dependen en gran medida del modelo que impulsa al agente.
  • •Muchos agentes fallaron porque compraron el producto equivocado o no sugirieron nada adecuado cuando los compradores, reflejando a consumidores reales, solo revelaron algunos de los atributos requeridos, como compatibilidad con consolas, un período de devolución de 30 días o Dolby Vision.
  • •Visa y su rival Mastercard están desarrollando herramientas y educando a los comerciantes para habilitar el comercio agéntico, mientras que la responsabilidad legal por compras no autorizadas o fraude sigue sin resolverse, aunque el director global de crecimiento de Visa, Rubail Birwadker, espera que estas cuestiones se resuelvan con el tiempo.
Estudio pionero de Visa revela que los agentes de compra con IA fallan casi la mitad de las veces

A medida que agentes de IA personales como Muse y Claude se integran a la vida cotidiana, un número creciente de personas les encarga tareas de compra. Pero un nuevo estudio de Visa sugiere que la tecnología aún no está a la altura: en un experimento sin precedentes, la gigante de pagos instruyó a 22 agentes de IA distintos para que compraran tres artículos de uso diario: un televisor, una laptop y un aparato para el cabello, y la tasa de éxito global fue de solo alrededor del 57%.

Los hallazgos se publican en un nuevo sitio web de Visa que detalla el resultado de 15 expediciones de compra separadas de cada uno de los 22 agentes: 330 intentos en total. Quizás de manera predecible, los agentes impulsados por modelos de IA más avanzados fueron los de mejor desempeño. La versión Aragon 4 del Gemini de Google y la versión Wonder del Making de Meta obtuvieron las puntuaciones más altas, completando una compra exitosa el 82% de las veces. Un agente Claude quedó en tercer lugar con una tasa de éxito del 76%, mientras que un agente de OpenAI terminó sexto con un 64%.

Los datos publicados por Visa grafican el desempeño de los 22 modelos, trazando la tasa de éxito de cada agente en el eje vertical frente al costo de cada consulta de compra en el eje horizontal. La empresa señala una clara diferencia ligada al precio: los cinco modelos más caros tuvieron éxito en promedio el 67% de las veces, mientras que los cinco más baratos obtuvieron un 50%. Para los consumidores que evalúan si delegar una compra, esta diferencia implica que los resultados actualmente dependen en gran medida del modelo que impulsa al agente.

Parte de las dificultades de los agentes se debe a una realidad simple: las motivaciones detrás de cualquier compra suelen ser complicadas y, en muchos casos, los consumidores carecen de información y no están seguros de lo que quieren.

El experimento de Visa fue diseñado para capturar esa dinámica. En las tareas de compra de televisores, los compradores, que a su vez eran agentes, recibieron una lista de atributos que necesitaban en un televisor, como compatibilidad con la consola de videojuegos de un hijo, un período de devolución de 30 días y un modelo con Dolby Vision. Al igual que los consumidores del mundo real, el comprador aportaba parte de la información, pero no toda.

La conclusión fue que, para tener éxito en el experimento de Visa, un agente de IA debía interactuar con el comprador de manera que extrajera la información faltante en un tiempo razonable. El éxito significaba comprar un televisor que se ajustara a las necesidades del comprador. En muchos casos, los agentes compraron el producto equivocado o simplemente no sugirieron nada adecuado.

"Todavía no estamos ahí desde el punto de vista de la confianza o la tecnología. Pero pronto llegaremos a un mundo donde los consumidores puedan confiar y delegar", declaró a Fortune Rubail Birwadker, director global de crecimiento de Visa.

Birwadker señaló que las compras impulsadas por agentes todavía están en sus primeras etapas, pero avanzan rápidamente. Añadió que el descubrimiento de productos, el foco del experimento de Visa, es solo un elemento de este nuevo tipo de comercio que los minoristas y las empresas de IA están tratando de comprender.

Para que los agentes de IA entren al mercado de compras masivo, las empresas también tendrán que ofrecer pagos fluidos y seguros, un desafío que Visa y su rival Mastercard ya buscan resolver educando a los comerciantes y desarrollando herramientas para facilitar el llamado comercio agéntico, en el que los sistemas de IA navegan, seleccionan y pagan bienes en nombre de un cliente.

También hay cuestiones legales nuevas y sin resolver en torno a los agentes de IA que hacen compras. Lo más notable es que todavía no está claro quién debe asumir la responsabilidad cuando los agentes realizan compras no autorizadas o cometen fraude. Según Birwadker, esas preguntas se resolverán con el tiempo, de la misma manera que una generación anterior de consumidores y comerciantes aprendió a usar el comercio electrónico, aunque añadió que las compras basadas en agentes serán una experiencia muy diferente a la de comprar en línea hoy.

Junto con el anuncio de los resultados de su experimento de compras con agentes, Visa también lanzó un sitio web que permite a los consumidores interactuar con los agentes utilizados en su estudio, una oportunidad para probar de primera mano sus habilidades de compra.

Esta historia fue publicada originalmente en Fortune.com.