Die Investorin Katie Jacobs Stanton stellte diesen Sommer fest, dass ihr KI-Assistent Instinct ohne vorherige Rücksprache eine E-Mail in ihrem Namen versendet hatte, wie TechCrunch berichtete. Sie bezeichnete die E-Mail als harmlos. Der Vertrauensbruch war es nicht: Die nächste unbefugte Nachricht könnte ebenso gut einen Job, eine Ehe oder eine Klage kosten.

Die Anziehungskraft persönlicher KI-Agenten ist beträchtlich. Ein Assistent, der wichtige E-Mails erkennt und Antwortentwürfe verfasst, sich an Geburtstage von Verwandten erinnert und anhand privater Korrespondenz ein Geschenk auswählt, ist verlockend. Für Menschen, die durch fordernde Berufe, Pflegeverantwortung oder eine Behinderung belastet sind, kann diese Hilfe трансformativ sein. Investoren sehen dasselbe Potenzial: Laut Forbes war das Risikokapitalinteresse an Instinct so stark, dass sich die Bewertung des Assistenten binnen Wochen verfünffachte. Doch der Vorfall wirft eine wichtige Frage auf: Wie behalten wir die Kontrolle, wenn ein Assistent Zugang zu unserem Leben hat? Assistenten wie Instinct und Metas Muse handeln für die Nutzer, statt lediglich Fragen zu beantworten oder Empfehlungen zu geben. Ein fehlerhafter Kauf lässt sich möglicherweise zurückzahlen; eine intime Offenbarung nicht.

Die Schäden sind bereits spürbar. Forbes berichtete, dass der Assistent, als der Investor Jason Yeh Instinct bat, freie Restaurantplätze für ein Abendessen zu finden, stattdessen einen Tisch buchte und ihm eine nie genehmigte Stornogebühr von 200 US-Dollar bescherte. TechCrunch berichtete, dass ein Tester seine Daten nicht löschen lassen konnte und eine andere Nutzerin noch Stunden nach dem Abmelden ihres Kontos eine Posteingangszusammenfassung erhielt. Im September deckte der Sicherheitsforscher Patrick Wardle eine Schwachstelle in der Mac-App von Muse auf, die es auf einem Computer bereits vorhandener Schadsoftware ermöglichen konnte, den Assistenten zu übernehmen; Meta patchte sie rasch.

Das Problem erreicht inzwischen auch Bankkonten. In der letzten Woche meldeten große Finanzinstitute, dass persönliche KI-Agenten in Online-Konten aktiv waren, und in einem Fall rief ein Agent ohne Autorisierung bei einer Bank an, um eine Beschwerde einzureichen. JPMorgan-Chase-Chef Jamie Dimon erklärte, die Bank werde keine ungeprüften „outside agents to come in inside the company“ zulassen, und der Schwab-Chef sagte, das Unternehmen blockiere aktiv unbefugte Agenten. Der Berater des Weißen Hauses, David Sacks, entgegnete, die Daten seien freiwillig geteilt worden und die Vorfälle seien „in no way cyberattacks“. Beide Seiten haben einen Punkt – genau darin liegt die Schwierigkeit: Es gibt bislang keine gefestigte Definition davon, was Autorisierung bedeutet, wenn der Handelnde eine Software ist.

Die Fehler sind auch schwer erkennbar. Ein in dieser Woche gestartetes öffentliches Verzeichnis des Sicherheitsunternehmens Manifold zählt 59 Vorfälle seit Juli 2025, davon allein 42, die in den vergangenen vier Monaten offengelegt wurden. Im Median dauerte es 70 Tage, bis ein Vorfall ans Licht kam, und nur 11 der 59 wurden durch eine Sicherheitskontrolle entdeckt. Diese Zahlen geben Unternehmen, Politikern und Nutzern einen gemeinsamen Bezugspunkt dafür, wie oft solche Fehler auftreten und wie lange sie verborgen bleiben können.

EqualAI, deren Geschäftsführerin den Kommentar verfasst hat, vertritt seit Langem die Auffassung, dass gutes KI-Governance gutes Geschäft ist, weil Vertrauen letztlich darüber entscheidet, ob Menschen diese Werkzeuge überhaupt annehmen. Die Organisation versammelte kürzlich Führungskräfte, die Agenten entwickeln und einsetzen, um eine simulierte Krise durchzuspielen – und die Übung legte immer wieder dieselben Lücken offen. Im Modellunternehmen waren die Audit-Trails zu dünn, um nachzuvollziehen, was ein Agent getan hatte; in den Lieferantenverträgen war nicht geregelt, wer haftet, wenn ein Agent Fehler macht; und die Verantwortung für die Aufsicht wurde angenommen, statt sie zuzuweisen. Am gravierendsten waren die Lücken dort, wo das Tempo die Vorsicht überholt hatte. Sie prägten den Fahrplan, der aus der Übung hervorging und als EqualAI-Weißbuch Agentic AI Governance veröffentlicht wurde.

Die Rechtslandschaft bewegt sich in dieselbe Richtung. Das kalifornische Recht verhindert inzwischen, dass Unternehmen der Zivilhaftung entgehen, indem sie geltend machen, die KI habe autonom gehandelt, und die Senatoren Hawley und Murphy haben vorgeschlagen, das bundesweite Anti-Hacking-Gesetz auf Entwickler und Betreiber auszuweiten, deren Agenten fahrlässig Schaden anrichten. Dieselben Prinzipien sollten auch für die Assistenten gelten, die die Menschen in ihre Haushalte holen. Für Verbraucher lassen sie sich in vier Verpflichtungen übersetzen.

Berechtigungen spezifisch erteilen. Ein Assistent sollte nur den Zugang erhalten, den eine Aufgabe erfordert. Die Erlaubnis, den Posteingang zu lesen, sollte nicht automatisch zur Erlaubnis werden, E-Mails im Namen des Nutzers zu versenden. Bevor ein Assistent Geld ausgibt, ändert, wer Zugriff auf ein Konto hat, oder sensible Daten teilt, sollten dem Nutzer bekannte Schutzmaßnahmen vorhanden sein.

Verantwortung im Voraus zuweisen. Wenn ein Assistent fehlerhaft einen Flug storniert, muss der Ausweg klar sein. Unternehmen sollten vor dem Einsatz festlegen, wer die unbefugten Aktionen eines Assistenten untersucht, wer sie stoppen kann und wie Nutzer entschädigt werden.

Aus Nutzersicht testen. Unabhängige Tests sollten bestätigen, dass Assistenten vor dem Handeln fragen, ihre Grenzen respektieren und sich nach Widerruf des Zugangs vollständig abmelden. Da sich Modelle ständig ändern, muss das Testing kontinuierlich erfolgen. Wardles Entdeckung war wertvoll; solche Arbeit sollte die Regel sein.

Fehler melden und untersuchen. Die Luftfahrt wurde auch deshalb zu einer der sichersten Reiseformen, weil Piloten und Airlines Beinahe-Zusammenstöße melden und Ermittler daraus lernen. Von Unternehmen sollte erwartet werden, einen „KI-Vorfall“ zu identifizieren, die Aufzeichnungen zu bewahren, Betroffene zu benachrichtigen und die zugrunde liegende Ursache zu beheben, während die Politik Meldepflichten für schwere Fälle etablieren kann.

Auch Verbraucher haben eine Rolle. Sie müssen die Berechtigungen verstehen, die sie erteilt haben, und wissen, wie sie den Zugang widerrufen. Die größere Verantwortung liegt jedoch bei den Unternehmen, die diese Werkzeuge verkaufen: Sie müssen deren Grenzen definieren und angemessene Erwartungen setzen. Die Menschen sollten keinen Cybersicherheitshintergrund brauchen, um diese Werkzeuge sicher zu nutzen.

Reisende steigen in Flugzeuge, ohne zu verstehen, wie sie fliegen, weil Industrie und Aufsichtsbehörden für ihre Sicherheit verantwortlich sind. Für KI-Assistenten braucht es einen ähnlichen Rahmen. Wenn Unternehmen die Posteingänge, Konten und Besorgungen der Nutzer wollen, müssen sie Vertrauen verdienen, indem sie klarstellen, was autorisiert wird, wie die Kontrolle zurückerlangt werden kann und wer verantwortet, wenn Assistenten im Namen der Nutzer Fehler machen.

Die in Fortune.com-Kommentaren geäußerten Meinungen sind ausschließlich die Ansichten ihrer Autoren und spiegeln nicht unbedingt die Meinungen und Überzeugungen von Fortune wider.

Diese Geschichte erschien ursprünglich auf Fortune.com.