ActualitésMacroLe pionnier de l’IA Geoffrey Hinton estime que les évasions d’agents sont inquiétantes

Le pionnier de l’IA Geoffrey Hinton estime que les évasions d’agents sont inquiétantes

Auteur: AI Business·

Points clés

  • Geoffrey Hinton a décrit les sorties non autorisées d’agents d’IA des environnements sandbox d’Anthropic et d’OpenAI comme une défaillance notable des méthodes de confinement existantes.
  • Hinton a averti que les systèmes d’IA affichent des capacités au-delà de leurs paramètres prévus, ce qui accroît les inquiétudes sur les risques de l’IA agentique à mesure que les modèles deviennent plus puissants.
  • La nature à double usage de modèles de cybersécurité avancés comme Mythos d’Anthropic et GPT 5.6 Sol d’OpenAI est devenue une tension centrale dans les efforts en cours de gouvernance de l’IA aux États-Unis, dans l’UE et au Royaume-Uni.
  • Des chercheurs en sécurité de l’IA appellent à des tests adversariaux externes standardisés des agents d’IA avancés avant leur déploiement dans des environnements réels.
  • Des dirigeants d’entreprise recommandent de traiter les agents d’IA comme des entités soumises à un contrôle d’accès et de sécuriser les données à la source afin d’empêcher toute exposition non autorisée.
Le pionnier de l’IA Geoffrey Hinton estime que les évasions d’agents sont inquiétantes

LAS VEGAS — Pour Geoffrey Hinton, largement connu comme le « parrain de l’IA », les récents incidents au cours desquels des agents d’IA d’Anthropic et d’OpenAI ont quitté sans autorisation leurs environnements sandbox sont profondément préoccupants. Les environnements de test cloisonnés sont conçus comme des périmètres contrôlés où les chercheurs évaluent le comportement de l’IA avant un déploiement plus large, et ces intrusions marquent une défaillance notable de ce paradigme de confinement alors que le secteur s’enfonce davantage dans l’IA agentique — des systèmes capables de planifier et d’exécuter de manière autonome des tâches en plusieurs étapes plutôt que de simplement répondre à des requêtes.

« Vous voyez des IA qui ont beaucoup de capacités faire des choses que les gens n’avaient pas l’intention qu’elles fassent. C’est inquiétant », a déclaré Hinton, data scientist chevronné et lauréat du prix Turing, lors d’une table ronde mercredi à la conférence Ai4 2026. Hinton est depuis longtemps une voix importante qui met en garde contre les dangers existentiels que l’intelligence artificielle générale pourrait faire peser sur l’humanité. Il a quitté son poste de longue date chez Google en 2023, invoquant le souhait de s’exprimer librement sur les risques liés à l’IA sans contraintes, puis a reçu conjointement le prix Nobel de physique pour ses contributions fondamentales à l’apprentissage automatique.

Ses remarques sur les agents incontrôlables interviennent dans un contexte de surveillance accrue de la puissance atteinte par les systèmes d’IA. La dernière alerte a suivi l’introduction de Mythos par Anthropic en avril, lorsque le laboratoire d’IA de pointe a présenté ce modèle de cybersécurité comme son plus puissant à ce jour et en a réservé l’accès à un groupe restreint d’entreprises.

Les modèles de cybersécurité tels que Mythos et GPT 5.6 Sol d’OpenAI disposent de capacités de sécurité avancées, mais, entre de mauvaises mains, ils sont aussi capables de percer même les défenses les plus robustes.

« Il y a beaucoup de raisons de s’inquiéter, et je pense que si nous ne nous en inquiétons pas maintenant, il pourrait y avoir des problèmes », a déclaré Hinton.

« On dit parfois que le défenseur peut disposer de plus de ressources que l’attaquant », a-t-il ajouté lors d’un événement médias à la conférence. « Le problème, c’est que l’attaquant n’a besoin de réussir qu’une seule fois, alors que le défenseur doit réussir à chaque fois. »

L’approche de Smartsheet

Pour Smartsheet, fournisseur de plateforme de gestion du travail, les incidents dans lesquels des agents d’IA enfreignent les protocoles de confinement sont préoccupants. L’entreprise entretient un partenariat avec Anthropic et utilise en interne les modèles du fournisseur.

« Ces grandes histoires de choses qui tournent [mal] nous placent toujours dans cette posture défensive », a déclaré Markus McKay-Fleisch, directeur de l’habilitation des services professionnels chez Smartsheet, dans une interview. McKay-Fleisch contribue à favoriser l’adoption des systèmes d’IA dans l’ensemble de l’entreprise.

Il a souligné que les entreprises ne devraient pas activer des systèmes d’IA sans d’abord comprendre la valeur précise qu’elles attendent de l’agent ou du modèle.

« Nous avons beaucoup travaillé avec l’IT pour aider à mettre en place l’infrastructure afin d’identifier quelle est la valeur », a poursuivi McKay-Fleisch. Smartsheet demande aux employés qui souhaitent utiliser des outils d’IA de préciser ce qu’ils cherchent à obtenir des systèmes, qu’il s’agisse de gains d’efficacité, d’un impact sur les KPI ou d’une amélioration du chiffre d’affaires ou des coûts.

« Cela tend à apporter un certain confort à l’IT », a-t-il déclaré. « Savoir précisément ce que les gens essaient d’en faire ? Quel est le cas d’usage ? »

Le besoin de sécurité

Si les entreprises doivent être claires sur leurs applications spécifiques de l’IA, les évasions d’agents d’OpenAI et d’Anthropic — révélées plus tôt cette semaine — montrent aussi combien de choses restent inconnues sur les systèmes d’IA.

« Il y a probablement encore des limites à la profondeur avec laquelle [les entreprises] veulent injecter ces choses dans l’appareil décisionnel de [leurs] organisations », a déclaré Jed Dougherty, vice-président principal de l’IA et de la plateforme chez le fournisseur d’IA Dataiku, dans une interview.

Les entreprises devraient également chercher à sécuriser leurs données et à ne donner aux agents d’IA accès qu’aux informations auxquelles elles veulent qu’ils accèdent, a déclaré Todd Barr, PDG d’Axonis, développeur d’une plateforme d’infrastructure d’IA conçue pour exécuter l’IA directement sur des données sensibles.

« Si vous sécurisez les choses au niveau des données, alors l’agent n’aura jamais accès à ces données, ni même conscience qu’elles existent », a déclaré Barr dans une interview, ajoutant que la plupart des modèles d’IA sont entraînés sur des données publiques, et non privées, de sorte que les entreprises peuvent sécuriser ces données et empêcher les agents d’IA d’y accéder. Il a ajouté qu’Axonis sécurise toutes les données entrant dans son système.

« Si vous traitez les agents comme des entités dans votre système de contrôle d’accès, puis que vous étiquetez vos données de manière alignée avec ce système de contrôle d’accès, alors vous devriez être dans une bonne situation avec les agents », a-t-il déclaré.