Investeerder Katie Jacobs Stanton ontdekte deze zomer dat haar AI-assistent, Instinct, ongevraagd een e-mail namens haar had verstuurd, aldus TechCrunch. Ze noemde de e-mail onschuldig. De inbreuk op het vertrouwen was dat niet: een volgende ongeautoriseerde boodschap zou evengoed iemand een baan, een huwelijk of een rechtszaak kunnen kosten.

De aantrekkingskracht van persoonlijke AI-agenten is groot. Een assistent die prioritaire e-mails kan herkennen en antwoorden opstelt, de verjaardag van een familielid onthoudt en op basis van privécorrespondentie een cadeautje koopt, is verleidelijk. Voor mensen die vastlopen op veeleisende banen, mantelzorg of een beperking kan die hulp transformative zijn. Investeerders zien hetzelfde potentieel: Forbes meldde dat de belangstelling van venture capital voor Instinct zo intens was dat de waardering van de assistent in weken tijd met een factor vijf steeg. Maar het incident roept een belangrijke vraag op: zodra een assistent toegang heeft tot ons leven, hoe behouden we dan de controle? Assistenten zoals Instinct en Meta's Muse handelen namens gebruikers in plaats van simpelweg vragen te beantwoorden of aanbevelingen te doen. Een vergissing bij een aankoop kan misschien worden terugbetaald; een intieme openbaarmaking niet.

De schade wordt al zichtbaar. Forbes meldde dat toen investeerder Jason Yeh Instinct vroeg om beschikbare dinerreserveringen te zoeken, de assistent in plaats daarvan een tafel boekte, waarmee hij bleef zitten met $200 aan annuleringskosten die hij nooit had goedgekeurd. TechCrunch meldde dat één tester zijn gegevens niet kon laten verwijderen en dat een andere uren na het ontkoppelen van haar account nog een samenvatting van haar inbox ontving. In september legde securityonderzoeker Patrick Wardle een kwetsbaarheid bloot in de Mac-app van Muse die malware die al op een computer aanwezig was in staat kon stellen de assistent te kapen; Meta dichtte het lek snel.

Het probleem reikt inmiddels ook tot bankrekeningen. Vorige week meldden grote financiële instellingen dat persoonlijke AI-agenten actief waren binnen online accounts, en in één geval belde een agent ongevraagd een bank om een klacht in te dienen. JPMorgan Chase-ceo Jamie Dimon zei dat de bank niet toestaat dat ongecontroleerde "outside agents to come in inside the company", en de ceo van Schwab zei dat het bedrijf ongeautoriseerde agenten actief blokkeert. Adviseur van het Witte Huis David Sacks daarentegen stelde dat de gegevens vrijwillig werden gedeeld en dat het in geen geval "cyberattacks" zijn. Beide kanten hebben een punt, en dat is precies de moeilijkheid: er bestaat nog geen vaste definitie van wat autorisatie betekent wanneer de handelende partij software is.

De fouten zijn bovendien moeilijk zichtbaar. Een deze week gelanceerd openbaar register van beveiligingsbedrijf Manifold telt 59 incidenten sinds juli 2025, waarvan 42 alleen al in de afgelopen vier maanden zijn openbaar gemaakt. Het mediane incident kwam na 70 dagen aan het licht, en slechts 11 van de 59 werden door een beveiligingscontrole opgemerkt. De cijfers geven bedrijven, beleidsmakers en gebruikers een gemeenschappelijk referentiepunt voor hoe vaak deze fouten voorkomen en hoe lang ze verborgen kunnen blijven.

EqualAI, wier ceo het commentaar schreef, houdt al lang vol dat goed AI-bestuur goed business is, omdat vertrouwen uiteindelijk bepaalt of mensen deze tools überhaupt adopteren. De organisatie bracht onlangs senior executives die agenten ontwikkelen en inzetten samen om een gesimuleerde crisis te doorlopen, en de oefening legde herhaaldelijk dezelfde hiaten bloot. In het zogenaamde bedrijf waren audit trails te schaars om te reconstrueren wat een agent had gedaan; leverancierscontracten zwegen over wie verantwoording aflegt wanneer een agent een fout maakt; en verantwoordelijkheid voor toezicht werd verondersteld in plaats van toegewezen. De hiaten waren het grootst waar snelheid voorzorgsmaatregelen had ingehaald, en ze vormden de routekaart die uit de oefening voortkwam en werd gepubliceerd als EqualAI's Agentic AI Governance white paper.

Het juridische landschap beweegt in dezelfde richting. De wet in Californië voorkomt nu dat bedrijven aan civiele aansprakelijkheid ontkomen door te stellen dat de AI autonoom handelde, en de senatoren Hawley en Murphy hebben voorgesteld de federale antihackwet uit te breiden naar ontwikkelaars en exploitanten wier agenten roekeloos schade aanrichten. Dezelfde principes zouden moeten gelden voor de assistenten die mensen hun huishouden binnenhalen. Voor consumenten vertalen ze zich in vier verplichtingen.

Maak machtigingen specifiek. Een assistent zou alleen de toegang moeten krijgen die een taak vereist. Toestemming om een inbox te lezen zou niet automatisch toestemming moeten zijn om e-mails namens de gebruiker te versturen. Voordat een assistent geld uitgeeft, wijzigt wie toegang heeft tot een account of gevoelige gegevens deelt, moeten waarborgen gelden die bekend zijn bij gebruikers.

Wijs verantwoordelijkheid vooraf toe. Als een assistent ten onrechte een vlucht annuleert, moet de remedie duidelijk zijn. Bedrijven zouden vóór inzet moeten vaststellen die de ongeautoriseerde acties van een assistent onderzoekt, wie ze kan stopzetten en hoe gebruikers schadeloos worden gesteld.

Test vanuit het perspectief van de gebruiker. Onafhankelijke tests moeten bevestigen dat assistenten vragen voordat ze handelen, hun grenzen respecteren en volledig ontkoppelen wanneer toegang wordt ingetrokken. Omdat modellen voortdurend veranderen, moet testen continu plaatsvinden. Wardles ontdekking was waardevol, en werk zoals het zijne zou de norm moeten zijn.

Rapporteer en bestudeer fouten. De luchtvaart werd mede een van de veiligste vormen van reizen omdat piloten en luchtvaartmaatschappijen near misses melden en onderzoekers ervan leren. Van bedrijven zou verwacht moeten worden dat ze een "AI-incident" identificeren, de gegevens bewaren, getroffenen informeren en de onderliggende oorzaak corrigeren, terwijl beleidsmakers rapportageverplichtingen kunnen instellen voor ernstige gevallen.

Consumenten hebben ook een rol. Ze moeten begrijpen welke machtigingen ze hebben verleend en hoe ze toegang kunnen intrekken. Maar de grotere verantwoordelijkheid ligt bij de bedrijven die de tools verkopen en die hun grenzen moeten definiëren en redelijke verwachtingen moeten scheppen. Mensen zouden geen achtergrond in cybersecurity nodig moeten hebben om deze tools veilig te gebruiken.

Reizigers stappen in vliegtuigen zonder te begrijpen hoe die vliegen, omdat industrie en toezichthouders zich voor hun veiligheid verantwoorden. Een vergelijkbaar kader is nodig voor AI-assistenten. Als bedrijven de inboxes, accounts en boodschappen van gebruikers willen, moeten ze vertrouwen verdienen door te verduidelijken wat er wordt geautoriseerd, hoe de controle kan worden teruggewonnen en wie verantwoording aflegt wanneer assistenten fouten maken namens gebruikers.

De meningen in commentaarstukken op Fortune.com zijn uitsluitend die van de auteurs en weerspiegelen niet noodzakelijkerwijs de meningen en overtuigingen van Fortune.

Dit verhaal verscheen oorspronkelijk op Fortune.com.