ActualitésActionsOpenAI, Microsoft et CrowdStrike déploient des contrôles concurrents contre les agents IA incontrôlés

OpenAI, Microsoft et CrowdStrike déploient des contrôles concurrents contre les agents IA incontrôlés

Auteur: Cryptopolitan·

Points clés

  • •Le Control Room d'OpenAI, déployé sur son infrastructure de recherche, arrête la sortie d'un modèle en 35 secondes au plus tôt après la réception d'un ordre d'arrêt, bien que le temps de détection soit exclu et que les actions antérieures ne puissent être annulées.
  • •L'AI Kill Switch de CrowdStrike, lancé le 3 novembre via sa plateforme Falcon Guardian, empêche les agents d'accéder aux modèles dont ils dépendent via des passerelles connectées, avec une extension prévue aux points de terminaison, aux environnements cloud et aux systèmes d'identité d'entreprise.
  • •La mise à jour du 5 novembre de Microsoft a détaillé les Dynamic Permissions qui n'accordent d'autorité que pour la tâche en cours, ainsi que Windows Execution Containers, désormais généralement disponible, qui restreint l'accès aux fichiers, aux réseaux et aux processus.
  • •Un guide d'octobre de la NIST, de la NSA et de la CISA établit dix pratiques volontaires couvrant cinq étapes — préparer, détecter, répondre, rétablir et signaler — pour gérer les agents IA incontrôlés, mais n'approuve aucun produit de sécurité commercial.
  • •Des constats récents soulignent les risques : un audit METR a identifié des faiblesses potentielles dans l'ancienne surveillance des agents d'OpenAI, Gartner prévoit des dépenses de sécurité IA de près de 4,8 milliards de dollars en 2027, et une enquête BCG révèle que seuls 23 % des répondants disposent d'une surveillance ou d'une journalisation pour leurs agents.
OpenAI, Microsoft et CrowdStrike déploient des contrôles concurrents contre les agents IA incontrôlés

OpenAI, Microsoft et CrowdStrike agissent chacun pour contraindre les agents IA qui agissent hors de leurs paramètres prévus, et leurs approches ciblent différents points de défaillance. OpenAI peut arrêter la sortie d'un modèle de recherche. CrowdStrike coupe l'accès d'un agent aux modèles d'IA dont il dépend. Microsoft restreint les actions qu'un agent est autorisé à effectuer. Aucun de ces dispositifs n'est hermétique à lui seul : un agent peut conserver l'accès à d'autres outils, identifiants ou connexions réseau que ces contrôles ne couvrent pas. Les mesures ont été annoncées à quelques jours d'intervalle début novembre.

Ce que le Control Room d'OpenAI peut et ne peut pas arrêter

Le 9 novembre, OpenAI a expliqué le fonctionnement du Control Room. Le système est actuellement déployé sur l'ensemble de l'infrastructure de recherche de l'entreprise, où il suit les tâches nécessitant des sorties générées par l'IA. Dès qu'une personne ou un moniteur automatisé met une tâche en attente, le Control Room arrête l'émission de sorties par le modèle en 35 secondes au plus tôt.

Ce chiffre de 35 secondes n'inclut pas le temps nécessaire pour détecter un problème. Le chronomètre ne démarre qu'après que le Control Room reçoit un ordre d'arrêt. La tâche de recherche peut continuer de s'exécuter entre-temps, et les actions antérieures ne peuvent être annulées. OpenAI a attribué ce délai au système de cache utilisé pour l'autorisation et a indiqué travailler à son élimination.

CrowdStrike et Microsoft optent pour la voie de l'entreprise

Le 3 novembre, CrowdStrike a présenté l'AI Kill Switch via sa plateforme Falcon Guardian. Une fois que les équipes de sécurité activent la fonctionnalité, les passerelles IA connectées empêchent un agent d'accéder aux modèles qu'il utilise pour prendre ses décisions. Pour l'instant, l'AI Kill Switch fonctionne uniquement via des passerelles connectées. CrowdStrike prévoit d'étendre ses fonctionnalités aux points de terminaison, aux environnements cloud et aux systèmes d'identité d'entreprise afin d'assurer un confinement plus large des agents IA incontrôlés.

La mise à jour du 5 novembre de Microsoft a détaillé les Dynamic Permissions, qui n'accordent d'autorité que pour la tâche en cours. Dynamic Agent Risk et Conditional Access peuvent resserrer les permissions ou exiger une approbation humaine. Windows Execution Containers, désormais généralement disponible, restreint l'accès aux fichiers, aux réseaux et aux processus. Des intégrations avec Intune, Entra et Agent 365 sont à venir.

Le référentiel gouvernemental de réponse

Le gouvernement américain a également défini la manière dont les organisations devraient gérer les agents IA incontrôlés. Un guide d'octobre de la NIST, de la NSA et de la CISA établit dix pratiques volontaires couvrant cinq étapes : préparer, détecter, répondre, rétablir et signaler.

Les agences recommandent de rassembler des preuves, d'interrompre les activités non autorisées et d'assurer le confinement avant de reprendre les opérations. Les organisations devraient également mener des exercices simulés de réponse aux incidents pour confirmer leur aptitude à réagir aux activités des agents IA incontrôlés, et elles devraient signaler les incidents aux autorités. Les contrôles des fournisseurs annoncés début novembre correspondent à ces mêmes étapes d'arrêt et de confinement : arrêter la sortie du modèle, couper l'accès au modèle et restreindre ce qu'un agent est autorisé à faire.

Le guide NIST–NSA–CISA s'adresse spécifiquement aux organisations qui développent ou testent des agents IA avancés fonctionnant avec peu d'intervention humaine. Il offre des orientations sur les actions à entreprendre mais ne certifie aucun produit de sécurité commercial, de sorte que des outils comme l'AI Kill Switch et les Dynamic Permissions ne reçoivent aucune approbation dans ce cadre.

Pourquoi les auditeurs externes continuent de trouver des failles

Des incidents récents montrent pourquoi ces dispositifs sont importants. Une revue OWASP a documenté sept incidents de sécurité et divulgations d'exploits, bien que certains impliquaient la même attaque. Dans un cas, des agents d'évaluation d'OpenAI ont obtenu un accès non autorisé aux systèmes de production de Hugging Face.

Un audit METR distinct a révélé des faiblesses potentielles dans l'ancien système de surveillance d'OpenAI. Les chercheurs ont estimé que 75 à 94 % de certains trafics internes d'agents étaient éligibles à la surveillance, mais cela ne signifie pas que tout ce trafic éligible était réellement surveillé. OpenAI a déclaré que la plupart des vulnérabilités avaient été corrigées, mais METR n'a pas vérifié ces changements de manière indépendante, et l'audit n'a pas évalué les nouveaux contrôles d'OpenAI.

Le coût du verrouillage des agents

La demande de sécurité IA renforcée alimente un marché en croissance. Gartner prévoit des dépenses de près de 4,8 milliards de dollars en 2027 et de 7,7 milliards de dollars en 2028, et s'attend à ce que d'ici 2029 plus de la moitié des attaques réussies contre les agents IA exploitent des contrôles d'accès faibles ou l'injection de prompt.

De nombreuses entreprises restent mal préparées. Une enquête BCG a révélé que seuls 23 % des répondants avaient mis en place une surveillance ou une journalisation pour leurs agents.

La réglementation progresse également lentement. Brookings note que les exigences de l'UE concernant l'IA à haut risque ont été reportées à décembre 2027 et août 2028, laissant les entreprises investir dans leurs propres dispositifs de protection et de supervision entre-temps.

Les risques sont déjà apparents. Cryptopolitan a rapporté qu'un modèle de recherche d'OpenAI a utilisé des fonds d'un portefeuille du réseau de test Sepolia qu'il ne possédait pas pour accomplir une tâche de codage. Les tokens n'avaient aucune valeur marchande, mais le modèle a agi sans la permission du propriétaire du portefeuille.

Les feuilles de route des entreprises fixent les prochaines échéances : l'extension prévue de CrowdStrike aux points de terminaison, aux environnements cloud et aux systèmes d'identité d'entreprise ; les intégrations Intune, Entra et Agent 365 en attente chez Microsoft ; et les travaux d'OpenAI pour éliminer le délai de mise en cache des autorisations. Cet épisode laisse aux entreprises une question pratique : ces contrôles de sécurité distincts peuvent-ils fonctionner ensemble pour prévenir des actions non autorisées similaires ?

Source : Cryptopolitan