Inwestorka Katie Jacobs Stanton odkryła latem, że jej asystent AI, Instinct, wysłał e-mail w jej imieniu bez uprzedniej konsultacji, jak podał TechCrunch. Opisała ten e-mail jako nieszkodliwy. Naruszenie zaufania takie nie było: kolejna nieautoryzowana wiadomość równie dobrze mogłaby kosztować kogoś pracę, małżeństwo lub proces sądowy.

Atrakcyjność osobistych agentów AI jest niezaprzeczalna. Asystent, który potrafi wskazywać priorytetowe e-maile i tworzyć odpowiedzi, pamiętać o urodzinach bliskiej osoby i kupować prezent na podstawie prywatnej korespondencji, jest kuszący. Dla osób obciążonych wymagającą pracą, opieką nad bliskimi lub niepełnosprawnością taka pomoc może być przełomowa. Inwestorzy widzą ten sam potencjał: Forbes poinformował, że zainteresowanie venture kapitałem Instinct było na tyle intensywne, że w ciągu kilku tygodni wycena asystenta wzrosła pięciokrotnie. Ale to zdarzenie rodzi ważne pytanie: gdy asystent ma dostęp do naszego życia, jak zachować kontrolę? Asystenci tacy jak Instinct czy Muse od Meta działają w imieniu użytkowników, a nie merely odpowiadają na pytania czy składają rekomendacje. Błędny zakup może podlegać zwrotowi; intymne wyznanie nie może być cofnięte.

Szkody już się pojawiają. Forbes poinformował, że gdy inwestor Jason Yeh poprosił Instinct o znalezienie wolnych stolików na kolację, asystent zamiast tego zarezerwował stolik, zostawiając go z niezatwierdzoną opłatą za odwołanie w wysokości 200 dolarów. TechCrunch poinformował, że jeden z testerów nie mógł uzyskać usunięcia swoich danych, a inna testerka otrzymała podsumowanie skrzynki odbiorczej godzinę po odłączeniu konta. We wrześniu badacz bezpieczeństwa Patrick Wardle ujawnił lukę w aplikacji Muse na Maca, która pozwalała złośliwemu oprogramowaniu obecnemu już na komputerze przejąć kontrolę nad asystentem — Meta szybko ją załatała.

Problem sięga teraz także kont bankowych. W zeszłym tygodniu duże instytucje finansowe poinformowały, że osobiste agenci AI działali wewnątrz kont online, a w jednym przypadku agent zadzwonił do banku bez autoryzacji, aby złożyć reklamację. CEO JPMorgan Chase Jamie Dimon powiedział, że bank nie pozwoli na nieweryfikowanych „agentów zewnętrznych wchodzących do wnętrza firmy”, a CEO Schwab stwierdził, że firma aktywnie blokuje nieautoryzowanych agentów. Doradca Białego Domu David Sacks odparł, że dane zostały udostępnione dobrowolnie i że te zdarzenia „w żadnym wypadku nie są cyberatakami”. Każda strona ma trochę racji — i właśnie to czyni sprawę trudną: nie ma jeszcze ustalonej definicji tego, co oznacza autoryzacja, gdy działającą stroną jest oprogramowanie.

Awarie są też trudne do wykrycia. Uruchomiony w tym tygodniu publiczny rejestr firmy bezpieczeństwa Manifold odnotowuje 59 incydentów od lipca 2025 roku, z czego czterdzieści dwa ujawniono sam w ciągu ostatnich czterech miesięcy. Mediana czasu do ujawnienia incydentu wyniosła 70 dni, a tylko 11 z 59 zostało wykrytych przez kontrolę bezpieczeństwa. Liczby te dają firmom, decydentom i użytkownikom wspólny punkt odniesienia dla częstotliwości tych awarii i tego, jak długo mogą pozostawać ukryte.

EqualAI, którego dyrektor generalny jest autorem komentarza, od dawna utrzymuje, że dobra governance AI to dobry biznes, ponieważ to zaufanie ostatecznie zdecyduje, czy ludzie w ogóle przyjmą te narzędzia. Grupa niedawno zebrała wyższą kadrę menedżerską rozwijającą i wdrażającą agentów do rozpatrzenia symulowanego kryzysu, a ćwiczenie wielokrotnie ujawniało te same luki. W fikcyjnej firmie ślady audytowe były zbyt ubogie, aby odtworzyć działania agenta; umowy z dostawcami milczały na temat tego, kto odpowiada, gdy agent popełni błąd; a odpowiedzialność za nadzór była zakładana, a nie przypisana. Luki były największe tam, gdzie szybkość wyprzedziła ostrożność, i ukształtowały mapę drogową powstałą w ramach ćwiczenia, opublikowaną jako biała księga Agentic AI Governance EqualAI.

Otoczenie prawne porusza się w tym samym kierunku. Prawo Kalifornii uniemożliwia teraz firmom unikanie odpowiedzialności cywilnej przez argumentowanie, że AI działało autonomicznie, a senatorowie Hawley i Murphy zaproponowali rozszerzenie federalnego prawa antyhakerskiego na deweloperów i operatorów, których agenci lekkomyślnie wyrządzają szkody. Te same zasady powinny dotyczyć asystentów, których ludzie wprowadzają do swoich domów. Dla konsumentów przekładają się one na cztery zobowiązania.

Precyzyjne uprawnienia. Asystent powinien otrzymywać tylko dostęp wymagany przez dane zadanie. Uprawnienie do odczytu skrzynki odbiorczej nie powinno automatycznie stawać się uprawnieniem do wysyłania e-maili w imieniu użytkownika. Zanim asystent wyda pieniądze, zmieni dostęp do konta lub udostępni wrażliwe dane, powinny być na miejscu zabezpieczenia znane użytkownikom.

Przypisanie odpowiedzialności z wyprzedzeniem. Jeśli asystent błędnie anuluje lot, środek zaradczy musi być jasny. Firmy powinny ustalić przed wdrożeniem, kto bada nieautoryzowane działania asystenta, kto może je zatrzymać i jak użytkownicy otrzymują zadośćuczynienie.

Testowanie z perspektywy użytkownika. Niezależne testy powinny potwierdzać, że asystenci pytają przed działaniem, respektują swoje ograniczenia i całkowicie się odłączają po cofnięciu dostępu. Ponieważ modele zmieniają się nieustannie, testowanie musi być ciągłe. Odkrycie Wardle'a było cenne, a praca taka jak jego powinna być normą.

Raportowanie i badanie awarii. Lotnictwo stało się jedną z najbezpieczniejszych form podróżowania częściowo dlatego, że piloci i linie lotnicze zgłaszają sytuacje quasi-awaryjne, a śledczy uczą się na ich podstawie. Od firm należy oczekiwać identyfikacji „incydentu AI”, zachowania dokumentacji, powiadomienia poszkodowanych i usunięcia przyczyny źródłowej, podczas gdy decydenci mogą ustanowić wymogi raportowania w poważnych przypadkach.

Konsumenci również mają rolę do odegrania. Muszą rozumieć przyznane uprawnienia i sposób cofnięcia dostępu. Ale większa odpowiedzialność spoczywa na firmach sprzedających te narzędzia, które muszą określić ich ograniczenia i ustanowić rozsądne oczekiwania. Ludzie nie powinni potrzebować wiedzy z zakresu cyberbezpieczeństwa, aby bezpiecznie korzystać z tych narzędzi.

Podróżni wsiadają do samolotów, nie rozumiejąc, jak latają, ponieważ branża i regulatorzy odpowiadają za ich bezpieczeństwo. Podobne ramy są potrzebne dla asystentów AI. Jeśli firmy chcą naszych skrzynek odbiorczych, kont i zleceń, muszą zdobyć nasze zaufanie, wyjaśniając, co jest autoryzowane, jak odzyskać kontrolę i kto odpowiada, gdy asystenci popełniają błędy w imieniu użytkowników.

Opinie wyrażone w komentarzach na Fortune.com są wyłącznie poglądami ich autorów i niekoniecznie odzwierciedlają opinie i przekonania Fortune.

Ta historia pierwotnie ukazała się na Fortune.com.