L'investitrice Katie Jacobs Stanton ha scoperto quest'estate che il suo assistente AI, Instinct, aveva inviato un'email a suo nome senza consultarla prima, secondo TechCrunch. Ha descritto l'email come innocua. La violazione della fiducia non lo è stata: il prossimo messaggio non autorizzato potrebbe altrettanto facilmente costare a qualcuno un lavoro, un matrimonio o una causa legale.

L'attrattiva degli agenti AI personali è notevole. Un assistente capace di identificare le email prioritarie e redigere le risposte, ricordare il compleanno di un parente e comprare un regalo basandosi sulla corrispondenza privata è allettante. Per le persone sottoposte a lavori esigenti, alla cura di familiari o a una disabilità, questo aiuto può essere trasformativo. Anche gli investitori vedono lo stesso potenziale: Forbes ha riportato che l'interesse del venture capital verso Instinct è stato tale da far crescere di cinque volte in poche settimane la valutazione dell'assistente. Ma l'episodio solleva una domanda importante: una volta che un assistente ha accesso alle nostre vite, come manteniamo il controllo? Assistenti come Instinct e Muse di Meta agiscono per gli utenti invece di limitarsi a rispondere a domande o fare raccomandazioni. Un acquisto sbagliato può essere rimborsato; una divulgazione intima non può essere ritirata.

I danni stanno già emergendo. Forbes ha riportato che quando l'investitore Jason Yeh ha chiesto a Instinct di trovare disponibilità per una cena, l'assistente ha invece prenotato un tavolo, lasciandogli una penale di cancellazione di 200 dollari mai approvata. TechCrunch ha riferito che un tester non è riuscito a ottenere la cancellazione dei suoi dati, e che un'altra utente ha ricevuto un riepilogo della casella di posta ore dopo aver disconnesso il proprio account. A settembre, il ricercatore di sicurezza Patrick Wardle ha evidenziato una vulnerabilità nell'app Mac di Muse che avrebbe potuto consentire a malware già presente su un computer di dirottare l'assistente, e Meta l'ha rapidamente corretta.

Il problema ora riguarda anche i conti bancari. La settimana scorsa, importanti istituti finanziari hanno segnalato che agenti AI personali operavano all'interno di account online, e in un caso un agente ha chiamato una banca senza autorizzazione per presentare un reclamo. Il CEO di JPMorgan Chase Jamie Dimon ha detto che la banca non consentirà ad "agenti esterni non verificati di entrare nell'azienda", e il CEO di Schwab ha dichiarato che l'azienda sta bloccando attivamente gli agenti non autorizzati. Il consigliere della Casa Bianca David Sacks ha replicato che i dati sono stati condivisi volontariamente e che questi episodi "non sono in alcun modo attacchi informatici". Entrambe le parti hanno un punto, ed è proprio questa la difficoltà: non esiste ancora una definizione consolidata di cosa significhi autorizzazione quando la parte che agisce è un software.

I guasti sono inoltre difficili da vedere. Un registro pubblico lanciato questa settimana dalla società di sicurezza Manifold conta 59 incidenti da luglio 2025, quarantadue dei quali divulgati solo negli ultimi quattro mesi. L'incidente mediano ha impiegato 70 giorni per venire alla luce, e solo 11 dei 59 sono stati rilevati da un controllo di sicurezza. I numeri offrono ad aziende, decisori pubblici e utenti un punto di riferimento comune sulla frequenza di questi guasti e su quanto a lungo possono rimanere nascosti.

EqualAI, il cui CEO ha scritto il commento, sostiene da tempo che una buona governance dell'IA è un buon affare, perché la fiducia determinerà in ultima analisi se le persone adotteranno questi strumenti. L'organizzazione ha recentemente riunito alti dirigenti che sviluppano e distribuiscono agenti per affrontare una crisi simulata, e l'esercizio ha ripetutamente evidenziato le stesse lacune. Nell'azienda fittizia, le tracce di audit erano troppo scarse per ricostruire cosa avesse fatto un agente; i contratti con i fornitori tacevano su chi risponde quando un agente sbaglia; e la responsabilità della supervisione era data per scontata anziché assegnata. Le lacune erano più acute dove la velocità aveva superato la precauzione, e hanno plasmato la roadmap prodotta dall'esercizio, pubblicata come white paper sull'Agentic AI Governance di EqualAI.

Anche il panorama giuridico si muove nella stessa direzione. La legge della California impedisce ora alle aziende di sottrarsi alla responsabilità civile sostenendo che l'IA ha agito in autonomia, e i senatori Hawley e Murphy hanno proposto di estendere la legge federale contro l'hacking agli sviluppatori e operatori i cui agenti causano danni per negligenza. Quegli stessi principi dovrebbero applicarsi agli assistenti che le persone portano nelle proprie case. Per i consumatori, si traducono in quattro impegni.

Rendere il permesso specifico. Un assistente dovrebbe ricevere solo l'accesso richiesto da un compito. Il permesso di leggere una casella di posta non dovrebbe diventare automaticamente il permesso di inviare email a nome dell'utente. Prima che un assistente spenda denaro, modifichi chi può accedere a un account o condivida dati sensibili, dovrebbero essere in atto tutele note agli utenti.

Assegnare la responsabilità in anticipo. Se un assistente annulla per errore un volo, il rimedio deve essere chiaro. Le aziende dovrebbero stabilire prima del rilascio chi indaga sulle azioni non autorizzate di un assistente, chi può arrestarle e come gli utenti vengono risarciti.

Testare con la prospettiva dell'utente. I test indipendenti dovrebbero confermare che gli assistenti chiedono prima di agire, rispettano i propri limiti e si disconnettono completamente quando l'accesso viene revocato. Poiché i modelli cambiano costantemente, i test devono essere continui. La scoperta di Wardle è stata preziosa, e un lavoro come il suo dovrebbe essere la norma.

Segnalare e studiare i guasti. L'aviazione è diventata una delle forme di viaggio più sicure in parte perché piloti e compagnie aeree segnalano i quasi incidenti e gli investigatori imparano da essi. Ci si dovrebbe aspettare che le aziende identifichino un "incidente AI", conservino i registri, notifichino gli interessati e correggano la causa sottostante, mentre i decisori pubblici possono stabilire obblighi di segnalazione per i casi gravi.

Anche i consumatori hanno un ruolo. Devono comprendere i permessi che hanno concesso e come revocarne l'accesso. Ma la responsabilità maggiore ricade sulle aziende che vendono questi strumenti, le quali devono definirne i limiti e creare aspettative ragionevoli. Le persone non dovrebbero avere bisogno di una formazione in cybersecurity per usare questi strumenti in sicurezza.

I viaggiatori salgono su un aereo senza capire come vola, perché l'industria e i regolatori rispondono della loro sicurezza. Serve un quadro simile per gli assistenti AI. Se le aziende vogliono le caselle di posta, gli account e le commissioni degli utenti, devono guadagnarsi la fiducia chiarendo cosa viene autorizzato, come recuperare il controllo e chi risponde quando gli assistenti commettono errori a nome degli utenti.

Le opinioni espresse nei commenti su Fortune.com sono esclusivamente quelle degli autori e non riflettono necessariamente le opinioni e le convinzioni di Fortune.

Questo articolo è stato originariamente pubblicato su Fortune.com.