L'investisseuse Katie Jacobs Stanton a découvert cet été que son assistant IA, Instinct, avait envoyé un e-mail en son nom sans la consulter au préalable, selon TechCrunch. Elle a décrit cet e-mail comme anodin. La rupture de confiance, elle, ne l'était pas : le prochain message non autorisé pourrait tout aussi bien coûter à quelqu'un son emploi, son mariage ou un procès.

L'attrait des agents IA personnels est indéniable. Un assistant capable d'identifier les e-mails prioritaires, de rédiger des réponses, de retenir l'anniversaire d'un proche et d'acheter un cadeau à partir d'une correspondance privée est séduisant. Pour les personnes accablées par un travail exigeant, des soins à prodiguer ou un handicap, cette aide peut être transformatrice. Les investisseurs voient le même potentiel : Forbes a rapporté que l'intérêt du capital-risque pour Instinct a été suffisamment intense pour multiplier par cinq la valorisation de l'assistant en quelques semaines. Mais cet épisode soulève une question importante : une fois qu'un assistant a accès à notre vie, comment conservons-nous le contrôle ? Des assistants comme Instinct et Muse de Meta agissent pour le compte des utilisateurs plutôt que de simplement répondre à des questions ou formuler des recommandations. Un achat erroné peut être remboursé ; une divulgation intime ne peut être annulée.

Les préjudices se manifestent déjà. Forbes a rapporté que lorsque l'investisseur Jason Yeh a demandé à Instinct de trouver des disponibilités pour un dîner, l'assistant a réservé une table, lui laissant des frais d'annulation de 200 $ qu'il n'avait jamais approuvés. TechCrunch a rapporté qu'un testeur n'a pas pu faire supprimer ses données, et qu'une autre utilisatrice a reçu un résumé de sa boîte de réception des heures après avoir déconnecté son compte. En septembre, le chercheur en sécurité Patrick Wardle a révélé une faille dans l'application Mac de Muse qui permettait à un malware déjà présent sur un ordinateur de détourner l'assistant, faille que Meta a rapidement corrigée.

Le problème touche désormais aussi les comptes bancaires. La semaine dernière, de grandes institutions financières ont signalé que des agents IA personnels opéraient à l'intérieur de comptes en ligne, et dans un cas, un agent a appelé une banque sans autorisation pour déposer une réclamation. Le PDG de JPMorgan Chase, Jamie Dimon, a déclaré que la banque n'autoriserait pas des « agents extérieurs non vérifiés à entrer dans l'entreprise », et le PDG de Schwab a indiqué que la société bloque activement les agents non autorisés. Le conseiller de la Maison-Blanche David Sacks a rétorqué que les données avaient été partagées volontairement et que ces épisodes ne constituent « en aucun cas des cyberattaques ». Chaque camp a une part de vérité, et c'est précisément là toute la difficulté : il n'existe pas encore de définition établie de ce que signifie l'autorisation lorsque la partie qui agit est un logiciel.

Les défaillances sont également difficiles à détecter. Un registre public lancé cette semaine par la société de sécurité Manifold recense 59 incidents depuis juillet 2025, dont quarante-deux divulgués au cours des quatre derniers mois seulement. L'incident médian a mis 70 jours à être découvert, et seuls 11 des 59 ont été détectés par un dispositif de sécurité. Ces chiffres offrent aux entreprises, aux décideurs politiques et aux utilisateurs un point de référence commun sur la fréquence de ces défaillances et sur la durée pendant laquelle elles peuvent rester cachées.

EqualAI, dont la directrice générale a signé cette tribune, soutient depuis longtemps qu'une bonne gouvernance de l'IA est une bonne pratique commerciale, car la confiance déterminera en fin de compte l'adoption de ces outils. L'organisation a récemment réuni des cadres supérieurs qui développent et déploient des agents pour gérer une crise simulée, et l'exercice a révélé à plusieurs reprises les mêmes lacunes. Dans l'entreprise fictive, les pistes d'audit étaient trop minces pour reconstituer ce qu'un agent avait fait ; les contrats avec les fournisseurs ne précisaient pas qui répond des erreurs d'un agent ; et la responsabilité de la supervision était présumée plutôt qu'attribuée. Ces lacunes étaient plus criantes là où la vitesse avait pris le pas sur la précaution, et elles ont façonné la feuille de route issue de l'exercice, publiée sous forme de livre blanc d'EqualAI sur la gouvernance de l'IA agentique.

Le paysage juridique évolue dans le même sens. La loi californienne empêche désormais les entreprises d'échapper à leur responsabilité civile en arguant que l'IA a agi de manière autonome, et les sénateurs Hawley et Murphy ont proposé d'étendre la loi fédérale anti-piratage aux développeurs et opérateurs dont les agents causent des dommages par imprudence. Ces mêmes principes devraient s'appliquer aux assistants que les gens introduisent chez eux. Pour les consommateurs, ils se traduisent par quatre engagements.

Rendre les permissions spécifiques. Un assistant ne devrait recevoir que l'accès qu'une tâche exige. La permission de lire une boîte de réception ne devrait pas devenir automatiquement la permission d'envoyer des e-mails au nom d'un utilisateur. Avant qu'un assistant ne dépense de l'argent, ne modifie les droits d'accès à un compte ou ne partage des données sensibles, des dispositifs de protection connus des utilisateurs doivent être en place.

Attribuer la responsabilité à l'avance. Si un assistant annule par erreur votre vol, le recours doit être clair. Les entreprises devraient déterminer avant le déploiement qui enquête sur les actions non autorisées d'un assistant, qui peut les interrompre et comment les utilisateurs sont dédommagés.

Tester du point de vue de l'utilisateur. Des tests indépendants devraient confirmer que les assistants demandent avant d'agir, respectent leurs limites et se déconnectent totalement lorsque l'accès est révoqué. Comme les modèles évoluent constamment, les tests doivent être continus. La découverte de Wardle a été précieuse, et un travail de ce type devrait devenir la norme.

Signaler et étudier les défaillances. L'aviation est devenue l'un des modes de transport les plus sûrs en partie parce que les pilotes et les compagnies aériennes signalent les incidents évités de justesse et que les enquêteurs en tirent des leçons. Les entreprises devraient être tenues d'identifier un « incident IA », de conserver les dossiers, d'informer les personnes concernées et de corriger la cause sous-jacente, tandis que les décideurs politiques peuvent établir des obligations de signalement pour les cas graves.

Les consommateurs ont aussi un rôle à jouer. Ils doivent comprendre les permissions qu'ils ont accordées et comment révoquer cet accès. Mais la plus grande responsabilité incombe aux entreprises qui vendent ces outils, lesquelles doivent en définir les limites et fixer des attentes raisonnables. Nul ne devrait avoir besoin d'une formation en cybersécurité pour utiliser ces outils en toute sécurité.

Les voyageurs montent à bord d'un avion sans comprendre comment il vole, car l'industrie et les régulateurs répondent de leur sécurité. Un cadre similaire est nécessaire pour les assistants IA. Si les entreprises veulent accéder à nos boîtes de réception, à nos comptes et à nos courses, elles doivent mériter notre confiance en clarifiant ce que nous autorisons, comment reprendre le contrôle et qui répond lorsque leurs assistants commettent des erreurs en notre nom.

Les opinions exprimées dans les tribunes de Fortune.com sont uniquement celles de leurs auteurs et ne reflètent pas nécessairement les opinions et convictions de Fortune.

Cet article a été initialement publié sur Fortune.com.