Matt Robb wollte eine Computertastatur verkaufen. Als Experiment listete er sie Ende letzten Monats auf Facebook Marketplace und übertrug Metas neuem KI-Agenten Muse die Verantwortung für die Transaktion.

„Ich bin das Ganze sozusagen als Versuchskaninchen angegangen“, sagte Robb, ein in Toronto ansässiger Content Creator, der regelmäßig Verbrauchertechnik testet. Er hatte Muses plushpielzeugartigen Avatar auf Instagram gesehen und wollte herausfinden, ob der KI-Agent ihm das online-Feilschen abnehmen könnte.

Muse begann zu verhandeln. Bereits einen Tag später erhielt Robb jedoch eine alarmierende Nachricht: Ein ihm unbekannter Käufer stand nachts vor seinem Haus. Muse hatte eigenständig ein Geschäft ausgehandelt und nach Zustimmung zu einer Abholung Robbs Privatadresse weitergegeben. Als der Käufer ankam, sendete der Agent zudem eine automatisierte Nachricht („Yep, I’m here!“) aus Robbs Konto – ohne sein Wissen.

„Nicht nur, dass er dem Mann meine Adresse gegeben und das Angebot angenommen hat, als er danach fragte – er hat ihn regelrecht fast aufgezogen [bezüglich meiner Anwesenheit, obwohl ich nicht da war]“, sagte Robb. Er beschrieb den Vorfall auch in Social-Media-Beiträgen, die weit verbreitet wurden. „Das hat mich wirklich fassungslos gemacht.“

Robb und der Käufer haben sich schließlich ausgesöhnt, und Meta kontaktierte Robb, um zu besprechen, was schiefgelaufen war. Der Vorfall zeigte dennoch die realen Risiken, die entstehen können, wenn man KI-Systemen weitreichenden Zugriff auf persönliche Informationen gewährt. Robbs Schilderung wurde zudem in einem Beitrag auf Threads ausführlich beschrieben.

„Die Nutzung eines KI-Agenten ähnelt der Übergabe seiner Schlüssel und einer To-do-Liste an jemanden“, sagte Veronica Rivera, Assistant Professorin an der School of Cybersecurity and Privacy des Georgia Tech. „Wie hilfreich sie sind – und damit auch, wie riskant – hängt davon ab, welche Schlüssel man aushändigt.“

KI-Agenten benötigen breiten Zugriff, um Aufgaben zu erledigen

Viele Nutzer haben KI-Agenten willkommen geheißen und Bequemlichkeit personalisierter Assistenten wie Muse gelobt, die alltägliche Aufgaben erledigen können – etwa einen Restauranttisch sichern, eine Reise planen oder den E-Mail-Posteingang organisieren. Wie andere KI hängen Agenten jedoch von den Informationen ab, auf die sie zugreifen können. Ihre Fähigkeit, Aufgaben zu erledigen, steigt in der Regel mit dem Umfang der Informationen über einen Nutzer – und potenziell auch über dessen Freunde, Familienmitglieder und Kollegen.

Dieser Zugriff schafft Datenschutzbedenken – und, wie Robb lernen musste, Folgen, die nicht auf dem Bildschirm bleiben: Ein einziges missverstandenes Recht reichte aus, um seine Privatadresse in die Hände eines Fremden zu legen.

Die Downloads von Metas Muse-App sind seit dem Start im September stark gestiegen, während der Wettbewerb im Markt für KI-Agenten weiter wächst. OpenAI hat kürzlich eine eigene Reihe von „immer aktiven“ KI-Assistenten namens dots eingeführt, die in ChatGPT und Arbeitsplatzplattformen wie Slack und Microsoft Teams integriert werden können. OpenAIs Ankündigung wurde von der Associated Press berichtet. Für Verbraucher bedeutet dieser Wettbewerb, dass Agenten auf den Plattformen ankommen, die sie bereits nutzen – von Workplace-Chat-Tools bis zu Online-Marktplätzen.

Konventionelle generative KI-Chatbots, einschließlich der Standardversion von ChatGPT, reagieren in der Regel auf spezifische Eingaben. Auf Nutzeranfrage können sie Aufsätze schreiben, Bilder oder Musik generieren und Computercode erstellen.

Muse und OpenAIs dots gehen einen Schritt weiter und erledigen alltägliche Aufgaben im Auftrag eines Nutzers. KI-Agenten nutzen dieselben großen Sprachmodelle wie Chatbots, arbeiten jedoch in einer Schleife, die es ihnen ermöglicht, proaktiv zu handeln, selbst wenn der Nutzer sie nicht aktiv überwacht.

„Eines der Dinge, die diese KI-Agenten so attraktiv machen, ist, dass sie beispiellos nützlich sind“, sagte Rivera, die auch eine von Microsoft geförderte Computing Research Association Trustworthy AI Research Fellow ist.

Die Bequemlichkeit erfordert jedoch, dass Nutzer mehr Details über ihr Leben teilen.

Sobald ein KI-Agent die Informationen eines Nutzers erhalten hat, kann der vollständige Widerruf des Zugriffs schwierig sein, sagte Ebrahim Bagheri, Professor an der Faculty of Information der University of Toronto.

„Wenn man einem Agenten Zugriff auf seine Kreditkarte gewährt, hat der Agent sofort Zugriff auf alle historischen Transaktionen … er wird all diese Daten sofort – in weniger als Sekunden – aufnehmen“, sagte Bagheri. Auch wenn Nutzer den Zugriff später widerrufen können, gibt es seiner Aussage nach „kein Zurück“ für Informationen, die der Agent bereits gesehen hat. Wie Entwickler historische Daten speichern, kann zudem unklar sein.

Meta und OpenAI haben Datenschutzrichtlinien für ihre neuen KI-Agenten veröffentlicht, die auf dedizierten Cloud-Computern betrieben werden. Nutzer können die gemeinsame Speichernutzung zwischen dots und ChatGPT deaktivieren, doch zuvor erhaltene Informationen des Agenten werden nicht automatisch gelöscht. OpenAI ermöglicht Nutzern, Zugriff auf persönliche Informationen zu beantragen sowie diese zu löschen oder zu korrigieren, wobei diese Rechte je nach Standort variieren können. OpenAIs Datenschutz- und Sicherheitsinformationen zu dots sind in seinem Hilfezentrum verfügbar.

Metas Muse bietet ebenfalls Optionen zum Löschen des Nachrichtenverlaufs und anderer Informationen. Im Alltag fragt der Agent Nutzer nach Zugriffsberechtigungen. Meta hat erklärt, dass Muse Informationen über Nutzer die Personen, mit denen sie interagieren, „auf Grundlage öffentlicher Informationen und aus dem, was du zu teilen entschieden hast“, erlernt, während das Unternehmen betont, dass diese Daten für jeden Nutzer sicher bleiben. Meta stellt zusätzliche Informationen zu Muse in seiner Hilfe-Dokumentation und zu Datenschutzeinstellungen bereit.

Das Unternehmen räumt jedoch ein, dass Muse weiterhin „Fehler machen oder unerwartete Aktionen ausführen“ kann.

Mehr Zugriff kann die Folgen von Fehlern vergrößern

In Robbs Fall beruhte die Weitergabe seiner Adresse auf „Immer erlauben“-Berechtigungen, die er gewährt hatte, als er Muse erstmals mit seinem Facebook-Marketplace-Profil verband. Seine Abholadresse war dort bereits hinterlegt. Robb warnte, dass andere Nutzer den Umfang des Zugriffs eines Agenten ähnlich missverstehen könnten. Er sagte, er sei anfangs davon ausgegangen, dass Muse vor der Weitergabe der Adresse oder der Annahme von Angeboten seine Zustimmung einholen würde.

Der Agent befolgte auch in einer anderen Transaktion seine Anweisungen nicht korrekt. Bei einem anderen Artikel, den Robb verkaufte, deutete Muse angeblich an, dass er einen Preis 100 $ unter dem zuvor festgelegten Minimum akzeptieren würde. Auf Anfrage der Associated Press räumte Meta den Fehler des Agenten ein, äußerte sich aber nicht weiter. Die AP berichtete ebenfalls über Robbs Erlebnis, in ihrem Artikel.

Robb trennte Muse später weitgehend von seinen Apps. In einem Interview Anfang dieses Monats sagte er, die Lage hätte viel schlimmer sein können, insbesondere „wenn ein Fremder vor dem Haus einer verwundbareren Person auftauchen würde.“ Dennoch rechne er damit, dass die Technologie weiter verfeinert werde, und würde in Betracht ziehen, Muse künftig wieder zu aktivieren. Seitdem testet er einen anderen KI-Agenten: Grok Bot von Elon Musks X, der im August als Beta gestartet ist. Robb hat das Erlebnis auch auf Threads geschildert.

Andere Technologieunternehmen haben Bedenken bezüglich der zunehmenden Nutzung von KI-Agenten geäußert. Anfang dieses Monats kündigte Apple neue Kontrollen für sein Mac-Betriebssystem an, als Reaktion darauf, dass Agenten breiteren Zugriff auf Anwendungen wie Mail und Nachrichten sowie den Browserverlauf erlangen, ohne das „vollständige Wissen und Verständnis“ der Nutzer.

„Da KI-Agenten zunehmend leistungsfähiger und autonomer werden, werden die mit dieser Zugriffsebene verbundenen Risiken erheblich wachsen“, schrieb Apple in einem Update vom 2. Oktober. Das Update stellte damit nicht nur Agenten-Entwickler, sondern auch Betriebssystem-Hersteller in die Debatte darüber, wie viel Zugriff KI-Agenten haben sollten.

Apple nannte keine Entwickler oder Agenten beim Namen. Das Update folgte auf einen Bericht des Inc.-Kolumnisten Jason Aten, wonach Muse Benachrichtigungen auf seinem Mac überwachte – einschließlich Nachrichten –, ohne dass Aten dem Agenten diesen spezifischen Zugriff gewährt hatte Aten beschrieb den Vorfall in Inc..

Meta-Sprecher Andy Stone hat erklärt, eine solche Integration sei „vollständig opt-in“. In einem Social-Media-Beitrag letzten Monats schrieb Stone, Nutzer müssten sowohl Apples Sicherheitsfunktion „Full Disk Access“ als auch einen Nachrichten-Connector über Muse aktivieren. Aten sagte, er habe dem Agenten diese Berechtigungen nicht gewährt. Stones Erklärung ist auf X verfügbar.

Auch Personen, die keinen KI-Agenten herunterladen, sind nicht unbedingt vor dessen Datenschutzfolgen geschützt. Sie kommunizieren möglicherweise weiterhin mit Menschen, die einen nutzen. Neben der Möglichkeit, dass ein KI-System Nachrichten im Auftrag eines Nutzers senden könnte, warnen Experten, dass Agenten auch Informationen anderer Personen offenlegen können.

„Wenn dein Agent deinen Posteingang oder deine Nachrichten liest, liest er auch, was deine Freunde und Familie dir geschickt haben – selbst wenn diese dem nie ausdrücklich zugestimmt haben“, sagte Rivera.

Einige Fragen bleiben offen: Apples angekündigte Mac-Kontrollen sind noch nicht bei den Nutzern angekommen, Meta hat den Marketplace-Fehler eingeräumt, ohne sich weiter zu äußern, und Muse, OpenAIs dots und Grok Bot konkurrieren alle um die Mainstream-Adoption.

Diese Geschichte erschien ursprünglich auf Fortune.com.