Visas beispiellose Studie: KI-Shopping-Agenten scheitern in fast der Hälfte der Fälle
Wichtige Erkenntnisse
- •Visa beauftragte 22 KI-Agenten mit je 15 Shopping-Aufgaben – insgesamt 330 Versuche – rund um einen Fernseher, einen Laptop und ein Haargerät; die Gesamterfolgsquote lag bei nur etwa 57 %.
- •Die Aragon-4-Version von Googles Gemini und die Wonder-Version von Metas Making teilten sich die höchsten Punktzahlen mit jeweils 82 % erfolgreicher Käufe, vor einem Claude-Agenten mit 76 % und einem OpenAI-Agenten mit 64 %.
- •Die Erfolgsquoten korrelierten mit den Modellkosten: Die fünf teuersten Modelle erreichten im Schnitt 67 % Erfolg, die fünf günstigsten 50 % – die Ergebnisse hängen also stark davon ab, welches Modell den Agenten antreibt.
- •Viele Agenten scheiterten, weil sie das falsche Produkt kauften oder nichts Passendes vorschlugen, wenn Käufer – wie echte Verbraucher – nur einen Teil der geforderten Eigenschaften preisgaben, etwa Konsolenkompatibilität, ein 30-tägiges Rückgaberecht oder Dolby Vision.
- •Visa und Rivale Mastercard bauen Tools auf und schulen Händler, um den Agenten-Handel zu ermöglichen, während die rechtliche Haftung bei unautorisierten Käufen oder Betrug ungeklärt bleibt – wobei Visas Global Head of Growth Rubail Birwadker erwartet, dass sich solche Fragen mit der Zeit klären.
Da persönliche KI-Agenten wie Muse und Claude Teil des Alltags werden, übertragen immer mehr Menschen ihnen Einkaufsaufgaben. Doch eine neue Studie von Visa legt nahe, dass die Technologie dafür noch nicht ausreicht: In einem bisher einmaligen Experiment beauftragte der Zahlungsdienstleister 22 verschiedene KI-Agenten mit dem Kauf von drei Alltagsartikeln – einem Fernseher, einem Laptop und einem Haargerät – und die Gesamterfolgsquote lag bei nur rund 57 %.
Die Ergebnisse sind auf einer neuen Visa-Website veröffentlicht, die das Ergebnis von 15 separaten Shopping-Expeditionen jedes der 22 Agenten detailliert – insgesamt 330 Versuche. Vielleicht unsurprisingly kaum überraschend: Agenten, die auf modernster KI basieren, schnitten am besten ab. Die Aragon-4-Version von Googles Gemini und die Wonder-Version von Metas Making erzielten die höchsten Punktzahlen und schlossen jeweils 82 % der Käufe erfolgreich ab. Ein Claude-Agent landete mit einer Erfolgsquote von 76 % auf dem dritten Platz, während ein OpenAI-Agent mit 64 % Sechster wurde.
Visas veröffentlichte Daten zeigen die Leistung aller 22 Modelle, wobei die Erfolgsquote jedes Agenten auf der vertikalen Achse gegen die Kosten jeder Shopping-Anfrage auf der horizontalen Achse abgetragen wird. Das Unternehmen verweist auf eine klare, preisabhängige Streuung: Die fünf teuersten Modelle waren im Schnitt zu 67 % erfolgreich, die fünf günstigsten erreichten 50 %. Für Verbraucher, die abwägen, ob sie einen Kauf delegieren wollen, bedeutet dies, dass die Ergebnisse derzeit stark davon abhängen, welches Modell den Agenten antreibt.
Ein Teil der Schwierigkeiten der Agenten beruht auf einer einfachen Realität: Die Motivationen hinter einem bestimmten Kauf sind oft komplex, und in vielen Fällen fehlt Verbrauchern Information – sie wissen nicht sicher, was sie wollen.
Visas Experiment war darauf ausgelegt, diese Dynamik abzubilden. Bei den Fernseh-Shopping-Aufgaben erhielten die Käufer – selbst Agenten – eine Liste von Eigenschaften, die der Fernseher erfüllen musste, etwa Kompatibilität mit der Spielkonsole eines Kindes, ein 30-tägiges Rückgaberecht und ein Modell mit Dolby Vision. Wie echte Verbraucher gaben die Käufer einige, aber nicht alle Informationen von sich aus preis.
Die Folge: Um in Visas Experiment erfolgreich zu sein, musste ein KI-Agent mit dem Käufer so interagieren, dass er die fehlenden Informationen in angemessener Zeit erhielt. Erfolg bedeutete, einen Fernseher zu kaufen, der die Bedürfnisse des Käufers erfüllte. In vielen Fällen kauften die Agenten stattdessen das falsche Produkt oder schlugen gar nichts Passendes vor.
„Aus Sicht von Vertrauen und Technologie sind wir noch nicht so weit. Aber wir werden bald in eine Welt gelangen, in der Verbraucher vertrauen und delegieren können“, sagte Visas Global Head of Growth, Rubail Birwadker, gegenüber Fortune.
Birwadker stellte fest, dass das agentengetriebene Shopping noch in seinen Anfängen steckt, sich aber rasch entwickelt. Er fügte hinzu, dass die Produktsuche – der Schwerpunkt von Visas Experiment – nur ein Element dieser neuen Handelsform ist, die Einzelhändler und KI-Unternehmen gerade zu durchdringen versuchen.
Damit KI-Agenten im Shopping mainstream-tauglich werden, müssen Unternehmen zudem reibungslose und sichere Zahlungen ermöglichen – eine Herausforderung, der Visa und sein Rivale Mastercard sich bereits widmen, indem sie Händler schulen und Tools aufbauen, um die sogenannte Agenten-Handel-Wirtschaft zu ermöglichen, bei der KI-Systeme im Auftrag eines Kunden Waren durchsuchen, auswählen und bezahlen.
Zudem gibt es neue und ungeklärte rechtliche Fragen beim Shopping mit KI-Agenten. Am deutlichsten ist unklar, wer haftet, wenn Agenten unautorisierte Käufe tätigen oder Betrug begehen. Laut Birwadker werden sich diese Fragen mit der Zeit klären, so wie eine frühere Generation von Verbrauchern und Händlern den Umgang mit dem E-Commerce erlernte – allerdings, so fügte er hinzu, werde das agentenbasierte Shopping eine ganz andere Erfahrung sein als das heutige Online-Shopping.
Zusammen mit der Bekanntgabe der Ergebnisse seines Agenten-Shopping-Experiments hat Visa auch eine Website veröffentlicht, auf der Verbraucher mit den im Test eingesetzten Agenten interagieren können – eine Gelegenheit, deren Einkaufskompetenz selbst zu testen.
Diese Geschichte erschien ursprünglich auf Fortune.com.
