À l'ouverture de la conférence annuelle Black Hat à Las Vegas, l'Open Secure AI Alliance — qui regroupe désormais plus de 120 organisations — fait avancer de nouvelles directives et technologies open source visant à renforcer la cybersécurité des systèmes d'IA agentique, ces systèmes d'IA capables de poursuivre autonomement des objectifs, de sélectionner et d'utiliser des outils, et d'interagir avec des applications et des données externes.

La Linux Foundation a publié une demande de commentaires sur le Shared AI Findings Exchange (SAFE), un cadre proposé conçu pour transformer les incidents de cybersécurité agentique en renseignements défensifs partagés au profit de l'ensemble de l'écosystème. Les directives SAFE sont élaborées par un groupe de travail de l'Open Secure AI Alliance, avec NVIDIA, Cisco, CrowdStrike, Hugging Face et Red Hat parmi les membres collaborant avec la Linux Foundation sur la proposition initiale. Cette initiative réunit des concurrents directs — fabricants de puces, fournisseurs de cloud, entreprises de cybersécurité et plateformes d'IA — sous un cadre commun, reflétant l'urgence d'établir des pratiques défensives partagées alors que les déploiements d'IA agentique passent de projets pilotes à des environnements de production.

Dans le cadre des directives SAFE, l'alliance propose de collecter et d'analyser confidentiellement les incidents d'IA et les presque-accidents, d'informer les parties affectées, d'identifier les défaillances de contrôle récurrentes et de publier des recommandations d'exploitation fondées sur des preuves afin de réduire le risque systémique.

Le contexte plus large est celui d'un défi croissant : chaque grande mutation technologique introduit de nouvelles surfaces d'attaque, et les défenseurs doivent opérer à ce que l'alliance décrit comme une « vitesse agent » pour protéger les infrastructures et la propriété intellectuelle. Le partage ouvert du renseignement sur les menaces au sein d'écosystèmes de confiance est présenté comme un multiplicateur de force pour la défense collective.

Les membres de l'alliance enrichissent une boîte à outils de sécurité full-stack

Le cadre SAFE complète un ensemble croissant de contributions technologiques des membres de l'Open Secure AI Alliance, qui construisent et partagent des outils ouverts et inspectables sur l'ensemble de la pile de sécurité de l'IA — des contrôles d'identité et des harnais aux garde-fous, journaux et systèmes d'évaluation. L'accent mis sur l'open source reflète une prémisse fondamentale de l'alliance : les outils de sécurité qui peuvent être inspectés, audités et améliorés de manière indépendante par la communauté sont mieux adaptés pour instaurer la confiance dans des systèmes capables d'agir de manière autonome.

Logiciels et modèles de cybersécurité open source de NVIDIA

Les contributions de NVIDIA couvrent l'ensemble de la pile. Le harnais de recherche NVIDIA Labs Object-Oriented Agent (NOOA), disponible sur GitHub, est conçu pour faciliter le test, le traçage, l'audit et la gouvernance du comportement des agents. Le runtime NVIDIA OpenShell restreint ce à quoi un agent peut accéder et ce qu'il peut exécuter, appliquant des contrôles de sécurité et de confidentialité au niveau de l'agent.

Les familles de modèles ouverts de NVIDIA — Nemotron pour l'IA agentique, Cosmos pour l'IA physique, Isaac GR00T pour la robotique, BioNeMo pour la santé et les sciences du vivant, et Alpamayo, décrit comme le plus grand modèle au monde pour les véhicules autonomes sous licence commerciale — sont publiés avec des poids ouverts, des jeux de données et des techniques d'entraînement.

Les compétences d'agent vérifiées open source de NVIDIA étendent la gouvernance à la couche de capacités. Chaque compétence fournit des jeux d'instructions portables — catalogués, analysés pour détecter des risques tels que l'injection de prompt et l'empoisonnement d'outils, signés cryptographiquement et documentés avec une fiche de compétence — permettant aux défenseurs de vérifier exactement ce que fait une compétence, son origine et si elle a été modifiée après sa publication.

NeMo Guardrails, NeMo Anonymizer et NeMo Safe Synthesizer contribuent à appliquer les politiques de sécurité, à protéger les données sensibles et à générer des données synthétiques respectueuses de la vie privée. Garak, le scanner de vulnérabilités LLM open source de NVIDIA, permet aux équipes de sécurité de tester les modèles pour détecter les fuites de données, les injections de prompt et les scénarios de contournement avant leur déploiement.

Identité et permissions — Qui est autorisé à agir

Sécuriser l'identité des agents est fondamental pour l'ensemble de la pile de sécurité.

Okta développe des implémentations de référence pour l'identité et l'accès des agents, démontrant comment le Cross App Access (XAA), un protocole ouvert, permet aux agents d'IA dans des environnements de bac à sable OpenShell de se connecter de manière sécurisée aux applications d'entreprise.

Palo Alto Networks a contribué des outils open source issus d'Idira, sa plateforme de sécurité d'identité de nouvelle génération, notamment Agent Guard et Agent Watch. Ces outils aident les développeurs à appliquer les meilleures pratiques de sécurité d'identité et des protections telles que la récupération sécurisée de secrets pour les workflows agentiques.

Un nouveau projet open source fondé par Red Hat, appelé asago, mappe les exigences de gouvernance personnalisées d'une organisation — faisant référence à des cadres tels que NIST, OWASP et l'AI Act de l'UE — directement sur les permissions d'agent au moment de l'exécution, en conservant une seule piste d'audit de la clause de politique au contrôle en temps réel. À mesure que les régulateurs du monde entier renforcent les exigences de gouvernance de l'IA, les outils qui traduisent les mandats politiques en contrôles techniques applicables deviennent de plus en plus critiques pour les organisations cherchant à démontrer leur conformité.

Harnais et outillage — Orchestration du travail de sécurité

Les agents d'IA opèrent au sein d'écosystèmes de modèles ouverts et fermés, de harnais, d'outils et de runtimes. Si un modèle fonctionne comme le cerveau de l'agent, le harnais sert de corps qui exécute des actions via des outils, orchestrant la manière dont les agents sont déployés, coordonnés et contraints.

Amazon, l'un des nouveaux membres de l'Open Secure AI Alliance, contribue Strands Agents — un kit d'outils open source pour construire des agents d'IA qui est ouvert à chaque couche, offrant aux développeurs une visibilité complète sur le comportement des agents et la capacité d'évaluer les systèmes agentiques en production. Amazon contribue également Cedar, un langage d'autorisation open source qui impose des limites déterministes et vérifiables sur les actions permises aux agents.

Capital One a open sourcé VulnHunter pour la sécurité du code d'IA agentique. Cloudflare propose son Vulnerability Discovery Harness en tant que compétence open source pour les systèmes d'agents.

L'équipe Microsoft AI Red Team a open sourcé plusieurs outils et harnais. PyRIT — le Python Risk Identification toolkit — permet l'exécution automatisée d'opérations d'équipe rouge avec une mémoire intégrée, prenant en charge des cibles courantes ainsi que des points de terminaison personnalisés. RAMPART et Clarity transforment les résultats d'équipe rouge et les incidents réels en tests reproductibles, et aident les équipes à remettre en question les hypothèses de conception avant l'écriture du code. Microsoft a également open sourcé Assert, qui convertit les exigences en langage naturel et les comportements attendus en matière de sécurité de l'IA en évaluations exécutables.

Atlas, développé par Wiz, est un moteur de recherche de vulnérabilités autonome qui orchestre des agents d'IA spécialisés pour découvrir et valider des failles de sécurité dans le code et les packages open source.

Visa, qui a également rejoint l'Open Secure AI Alliance, a contribué son Visa Vulnerability Agentic Harness open source pour aider les équipes à identifier les problèmes et à prendre en charge la correction et la validation.

Modèles — Une intelligence conçue pour la sécurité et la défense de l'IA

Les modèles spécialisés de sécurité et de sûreté sont conçus sur mesure pour les tâches de défense : entraînés à comprendre le code, à localiser les vulnérabilités et à raisonner sur les menaces à grande échelle. Ils peuvent prendre en charge les workflows agentiques en tant que systèmes de modèles, avec des modèles ouverts et fermés travaillant de concert.

Cisco DefenseClaw est une couche de gouvernance agentique open source qui s'appuie sur NVIDIA OpenShell pour fournir une sécurité automatisée au niveau du runtime lors de la mise à l'échelle de flottes d'agents. Cisco a également publié deux petits modèles linguistiques de sécurité Antares conçus pour localiser avec précision les vulnérabilités connues dans les bases de code, ainsi que Project CodeGuard pour intégrer des pratiques de sécurisation par défaut directement dans les workflows de codage par IA.

CrowdStrike affine le modèle NVIDIA Nemotron Nano pour la cyberdéfense. Les tests internes ont atteint une précision de 96 % dans la génération de requêtes d'investigation au sein de Falcon LogScale, fournissant une interface en langage naturel qui améliore l'efficacité d'investigation des agents. CrowdStrike a également publié une recherche montrant qu'un modèle de raisonnement NVIDIA Nemotron Nano spécialisé surpasse des modèles bien plus volumineux sur le triage de détection du Security Operations Center, tout en introduisant une confiance calibrée basée sur les logits pour permettre des décisions de sécurité autonomes mesurables, paramétrables et auditables.

Au-delà de la détection, les défenseurs doivent comprendre pourquoi les agents ont agi, si les systèmes se comportent de manière sûre et comment les attaques évoluent. Akamai apporte des analyses issues de ses rapports State of the Internet et des recherches du Security Intelligence Group, s'appuyant sur des données réelles pour éclairer les menaces de l'ère de l'IA.

Cognition a publié une évaluation de fiabilité mesurant l'alignement et les risques de sécurité des modèles dérivés de l'open source, démontrant que ces risques peuvent être atténués par un post-entraînement.

Numbat, développé par Perplexity, est une suite de sécurité d'agent open source pour les points de terminaison clients. Elle détecte, analyse et empêche l'activité des agents sur macOS, Linux et Windows, fournissant aux défenseurs un enregistrement structuré des actions des agents.

Uber a open sourcé des composants clés de l'ADR (Agentic AI Detection and Response), un système de production qui reconstitue la chaîne causale complète de l'activité des agents d'IA — du prompt au raisonnement, aux appels d'outils et aux résultats. ADR prend actuellement en charge plus de 200 000 sessions d'agent par jour sur 30 000 points de terminaison, en utilisant une approche d'analyse à deux niveaux qui combine une détection efficace avec une investigation plus approfondie pour les menaces à haute confiance.

Disponibilité et résilience — Récupération rapide quand chaque instant compte

Les systèmes d'agents doivent rester fiables en cas de perturbation, contenir les défaillances et se rétablir en toute sécurité sans perdre d'état critique ni exposer l'environnement plus large.

LangChain ajoute des capacités de résilience à ses frameworks open source — Deep Agents, LangGraph et LangChain — permettant aux agents de reprendre un travail interrompu, de suivre des chemins de récupération sûrs, de reprendre depuis des états sauvegardés et de basculer automatiquement vers des modèles alternatifs en cas d'échec des modèles principaux.

Veeam aide les organisations à maintenir la résilience et la récupérabilité des données et des infrastructures liées à l'IA grâce à des technologies telles que Kanister, son framework open source pour la protection des données sur Kubernetes. Kanister aide les équipes à protéger et à récupérer les charges de travail d'IA, les bases de données vectorielles et les données vers un état connu et sain vérifié.

Des contributions supplémentaires sont attendues alors que l'alliance continue de croître. Lorsque les membres publient des mesures d'atténuation réutilisables, les défenseurs de l'ensemble de l'écosystème peuvent les inspecter, les adapter et les améliorer, permettant aux pratiques de sécurité d'évoluer parallèlement aux progrès de l'IA.

Les membres de l'Open Secure AI Alliance sont conviés à se rassembler à Black Hat le mardi 4 août à 17 h 15 (heure du Pacifique) pour une photo de groupe devant le Main Stage, Business Hall au Mandalay Bay Convention Center. Pour plus d'informations sur l'alliance, consultez la page de l'Open Secure AI Alliance.