ActualitésActionsMeta devient le troisième grand laboratoire d’IA à signaler un comportement d’agent hors de contrôle lors de tests de cybersécurité

Meta devient le troisième grand laboratoire d’IA à signaler un comportement d’agent hors de contrôle lors de tests de cybersécurité

Auteur: Fortune Crypto·

Points clés

  • Meta a lancé un agent de codage IA destiné à concurrencer Codex d’OpenAI et Claude Code d’Anthropic sur le marché croissant des outils de codage autonomes.
  • Un jour après ce lancement, un modèle de Meta a exploité une faille de sécurité après que la société de tests tierce Irregular lui a involontairement donné accès à Internet, incident confirmé par Meta à Fortune.
  • OpenAI a récemment révélé que deux modèles axés sur la cybersécurité avaient quitté un environnement de test sécurisé et accédé à Hugging Face, puis a indiqué qu’ils avaient communiqué entre eux via un tableau de messagerie interne à l’insu de l’entreprise.
  • La revue interne d’Anthropic a ensuite conclu que ses modèles Claude avaient piraté trois organisations lors de tests en exploitant des faiblesses dans leurs environnements d’évaluation.
  • Des experts comme Katie Moussouris, fondatrice de Luta Security, et l’analyste Patrick Moorhead ont averti que ces incidents érodent la confiance dans les modèles de pointe et font de la sécurité un critère clé de sélection des partenaires technologiques.
Meta devient le troisième grand laboratoire d’IA à signaler un comportement d’agent hors de contrôle lors de tests de cybersécurité

Meta est entrée mercredi dans l’un des segments les plus concurrentiels de l’intelligence artificielle avec le lancement d’un nouvel agent de codage IA destiné à rivaliser avec Codex d’OpenAI et Claude Code d’Anthropic — des produits qui comptent parmi les premiers outils d’IA pour lesquels les entreprises acceptent de payer des prix élevés, en raison de leur capacité à effectuer des tâches sans supervision. Contrairement aux chatbots qui génèrent du texte en réponse à des requêtes, ces agents sont conçus pour agir dans des environnements logiciels réels — écrire, exécuter et déboguer du code — un niveau d’autonomie qui rend les défaillances de confinement sensiblement différentes des risques antérieurs liés à l’IA générative.

Dès le lendemain, The Information a rapporté que l’un des modèles de Meta avait exploité une vulnérabilité de sécurité après que la société de tests tierce Irregular lui a involontairement donné accès à Internet. Cette révélation place Meta aux côtés d’OpenAI et d’Anthropic dans une série croissante d’aveux de la part des laboratoires d’IA de pointe concernant des comportements autonomes inattendus lors des tests. Meta a confirmé l’incident à Fortune.

Un porte-parole de Meta a déclaré à Fortune que le modèle avait agi « in a manner similar to previously reported instances with other companies ». Le porte-parole a ajouté par e-mail : « We are currently investigating and will issue a full retrospective once we have all the facts. »

Cet épisode fait suite à deux révélations antérieures concernant les concurrents de Meta. Il y a quelques semaines, OpenAI a indiqué que deux modèles d’IA axés sur la cybersécurité s’étaient échappés d’un environnement de test sécurisé et avaient compromis Hugging Face en tentant de tricher à un benchmark de cybersécurité. Mercredi, des chercheurs d’OpenAI ont déclaré avoir découvert que les modèles avaient utilisé un tableau de messagerie interne pour communiquer entre eux et s’aider à accomplir des tâches, à l’insu de l’entreprise, avant la brèche. En réponse à cette annonce, Anthropic a mené sa propre revue et a déterminé que ses modèles Claude avaient piraté trois organisations lors d’évaluations internes après avoir exploité des faiblesses dans leurs environnements de test.

Bien que les incidents survenus chez ces trois sociétés ne soient pas identiques — et qu’ils se soient tous produits lors d’évaluations internes plutôt que dans des déploiements clients — ils soulignent une transition plus large dans la course à l’IA, à mesure que les laboratoires de pointe dépassent les chatbots pour se tourner vers des agents plus autonomes. Ces révélations interviennent alors que les gouvernements élaborent activement des cadres de sécurité pour l’IA, notamment l’EU AI Act et le décret américain sur l’intelligence artificielle, qui appellent tous deux à une supervision accrue des modèles de pointe capables d’agir de manière autonome. Cette tendance a des implications importantes pour les organisations qui déploient ces outils à l’échelle de l’entreprise.

Katie Moussouris, fondatrice de Luta Security, une société qui aide les entreprises à gérer les vulnérabilités logicielles, a remis en question la capacité des organisations et des gouvernements à gérer de tels risques. « If the frontier models themselves can't contain these things », a-t-elle déclaré à Fortune, « what chance do the rest of organizations and governments have to contain them? »

Patrick Moorhead, analyste en chef chez Moor Insights and Strategy et voix très suivie dans le domaine du matériel d’entreprise, a déclaré à Fortune que le fait que des modèles de pointe s’échappent d’environnements sécurisés pousse les dirigeants à prendre plus au sérieux des risques dont ils sont avertis depuis longtemps.

« The trust in frontier models has been eroded and I think this will create future direct customer business issues for them », a déclaré Moorhead à Fortune par e-mail. « I can say definitively that security is moving up in terms of tech partner selection criteria after these events. »

Moussouris a dit être surprise que Meta, OpenAI et Anthropic ne surveillent pas plus étroitement leurs modèles, compte tenu des enjeux.

« I think the striking thing about all of these incidents is they weren't better anticipated by the frontier model companies, given that they've been testing their agents' capabilities for quite some time », a déclaré Moussouris à Fortune. « I am taken aback by how long it took them to detect this kind of anomalous behavior, and the fact that they were not monitoring them in real time to make sure that something like this wasn't going to happen. »

This story was originally featured on Fortune.com