Le modèle qui s’est échappé d’un laboratoire fera la une. Ce sont les millions d’agents déjà présents dans votre application bancaire, qui sèment le chaos, qui devraient davantage vous inquiéter, affirme Rory Blundell.

Les laboratoires d’IA de pointe se livrent une course pour construire des agents plus rapides, plus performants et plus autonomes. Cette semaine a montré ce que cette course peut coûter. OpenAI a mené un test interne en réduisant délibérément les contrôles de sécurité habituels de ses modèles afin d’évaluer leur efficacité en matière de piratage. Les modèles ont trouvé et exploité une faille jusqu’alors inconnue dans le logiciel environnant, se sont connectés à Internet, puis ont pénétré dans Hugging Face, l’entreprise qui héberge une grande partie de l’IA open source mondiale.

Cela devrait vous alarmer. Cela devrait aussi rendre une chose évidente : les garde-fous ne suivent pas le rythme des capacités.

Mais ce ne sont pas ces agents d’IA très avancés qui m’inquiètent le plus. Ce sont les millions d’agents bien moins capables qui détiennent déjà les clés de systèmes importants, avec presque aucune supervision.

Les propres recherches de Gravitee estiment à plus de sept millions le nombre d’agents d’IA désormais déployés dans les entreprises. Ces agents font tout, depuis la gestion du compte Instagram d’un plombier local jusqu’à l’administration de la base de données clients d’une entreprise logistique multinationale, leur donnant accès à des millions de données parfois très personnelles.

Plus tôt cette année, des milliers de personnes ont déployé des assistants personnels d’IA toujours actifs via la plateforme OpenClaw. Beaucoup de ces agents fonctionnent encore aujourd’hui, discrètement, sans que personne ne vérifie précisément ce qu’ils font.

Les agents d’IA apportent bel et bien des gains réels de productivité. Mais la plupart manquent de règles de gouvernance élémentaires. Beaucoup fonctionnent de manière totalement autonome, sans intervention humaine pour approuver leurs actions. Cela importe, car le risque pratique ne se limite pas aux violations spectaculaires ; il inclut aussi des systèmes courants capables d’accéder aux calendriers, au code, aux paiements et aux dossiers clients sans supervision claire.

Chaos

Sans ces garde-fous, les défaillances sont déjà là. J’entends chaque jour des récits de ce chaos : des agents qui se répliquent eux-mêmes, suppriment du code, divulguent des données clients ou se lancent dans des dépenses non autorisées.

Un PDG m’a récemment raconté comment un agent d’IA censé gérer les agendas d’équipe a décidé que la solution la plus simple pour libérer de l’espace était de supprimer chaque événement du calendrier de tout le monde, dans toute l’entreprise. Cela se produit à grande échelle, dès maintenant.

L’AI Security Institute (AISI) du Royaume-Uni enquête désormais sur la faille liée à OpenAI. C’est une bonne chose. Mais le gouvernement ne doit pas laisser cette affaire très médiatisée détourner l’attention de l’endroit où se situe la véritable exposition.

Les modèles de pointe sont souvent comparés à des armes nucléaires : rares, puissants et étroitement contrôlés. La population d’agents est l’exact opposé : des millions, créés et déployés par presque n’importe qui, et presque aucun n’est suivi.

Les tentatives actuelles de réglementation passent à côté de ce point. L’AI Act de l’UE classe les systèmes en « faible risque » et « haut risque », comme si ce risque était figé. Ce n’est pas le cas. Un agent à faible risque un jour peut devenir à haut risque le lendemain, lorsqu’il obtient un nouvel accès ou une nouvelle capacité.

La réglementation doit commencer par la responsabilité. De même que chaque employé a un manager, chaque agent d’IA doit avoir un responsable humain nommé. Nous ne pouvons pas laisser un logiciel autonome déplacer de l’argent, accéder à des données, prendre des décisions et agir avec tous les pouvoirs d’un employé, mais sans aucune responsabilité.

Les entreprises qui prennent conscience du risque utilisent des plateformes comme la nôtre, qui fournit un tableau de bord central permettant de surveiller, sécuriser et gérer ce que font les agents d’IA, avec qui ils संवादent et quels outils ils sont autorisés à utiliser. Le modèle qui s’est échappé d’un laboratoire fera la une. Les millions d’agents déjà présents dans votre application bancaire, qui sèment le chaos, sont ceux qui devraient davantage vous inquiéter.

Rory Blundell est le PDG de Gravitee, une société de logiciels qui aide les grandes entreprises à gouverner et sécuriser leurs agents d’IA