ActualitésCryptoDes leaders du secteur lancent l’Open Secure AI Alliance pour la sûreté et la sécurité de l’IA

Des leaders du secteur lancent l’Open Secure AI Alliance pour la sûreté et la sécurité de l’IA

Auteur: NVIDIA Blog·

Points clés

  • L’Open Secure AI Alliance vise à aider les défenseurs à corriger et à divulguer les vulnérabilités à l’aide de technologies ouvertes.
  • L’alliance estime que les modèles et harnesses ouverts donnent aux défenseurs transparence, contrôle et capacité d’éviter les points de défaillance uniques.
  • Un incident de sécurité chez Hugging Face a montré que des outils d’IA fermés avaient bloqué le travail d’analyse, poussant l’entreprise à utiliser un modèle à poids ouverts pour analyser plus de 17,000 actions.
  • NVIDIA, HPE, Hugging Face, IBM, Red Hat, Microsoft et SpaceXAI figurent parmi les partenaires fondateurs contribuant à l’alliance.
  • L’article appelle les décideurs à considérer les outils de sécurité IA ouverts comme des actifs défensifs et à investir dans une infrastructure ouverte partagée pour la défense de l’IA.
Des leaders du secteur lancent l’Open Secure AI Alliance pour la sûreté et la sécurité de l’IA

Les logiciels open source sont un pilier essentiel de l’économie mondiale. Ils sous-tendent le cloud computing, les services financiers, la fabrication, les télécommunications, les services publics et les services Internet en rendant la technologie accessible et observable pour des communautés d’experts.

La cybersécurité figure parmi les trois principaux bénéficiaires des logiciels open source. L’Open Secure AI Alliance, qui s’appuie sur le leadership de l’initiative Akrites de la Linux Foundation et sur le travail de la communauté OpenSSF, œuvrera à corriger et à divulguer les vulnérabilités à l’aide de technologies ouvertes. À mesure que les systèmes d’IA sont de plus en plus intégrés aux logiciels et aux opérations de sécurité, la question n’est plus seulement de savoir à quel point ces outils sont puissants, mais si les défenseurs peuvent les inspecter, les tester et les adapter assez rapidement pour suivre le rythme des menaces réelles.

Tout comme l’open source a créé une base commune pour les logiciels, les États-Unis et leurs partenaires sont désormais confrontés à un choix en matière de sécurité de l’IA : les défenses qui protègent nos infrastructures resteront-elles enfermées dans quelques systèmes opaques, ou seront-elles construites sur des modèles, des harnesses et des outils ouverts que tout défenseur peut étudier, adapter et déployer ?

Le monde a besoin à la fois de modèles fermés et de modèles ouverts. En cybersécurité, les modèles ouverts et les harnesses ouverts sont essentiels parce qu’ils démocratisent les capacités défensives, renforcent la transparence pour les défenseurs, permettent la cyberdéfense tout en protégeant les données et complètent les modèles fermés de pointe avec des contrôles personnalisables et localisés. L’open source permet une défense massivement distribuée, pilotée par la communauté et auto-contrôlée, sans point de défaillance unique.

Les modèles ouverts, comme toute technologie puissante, peuvent être détournés — notamment par des tentatives d’affaiblir les garde-fous ou de réutiliser leurs capacités pour des cyberattaques —, mais ces risques ne sont pas propres aux systèmes ouverts et doivent être gérés partout où l’IA avancée est déployée.

Le récent incident de sécurité chez Hugging Face a rappelé clairement une réalité : les défenseurs cyber doivent disposer de systèmes agentiques ouverts et de pointe pour se défendre eux-mêmes. Lorsque des outils d’IA fermés, incapables de distinguer les attaquants des défenseurs, ont bloqué une analyse médico-légale essentielle, Hugging Face a exécuté le modèle GLM 5.2 à poids ouverts sur sa propre infrastructure pour analyser plus de 17,000 actions et contenir l’intrusion.

Cet incident a montré une vérité pratique : lorsque les défenseurs ne peuvent pas inspecter, adapter et exécuter une IA avancée sur leur propre infrastructure, leur capacité de réponse est limitée précisément au moment où la rapidité est la plus importante. Les entreprises et les pays ont besoin d’outils et de techniques défensifs ouverts et de pointe afin que les secteurs critiques puissent bâtir des systèmes de sécurité dans un écosystème متعدد-fournisseurs et éviter les points de défaillance uniques.

C’est la mission de l’Open Secure AI Alliance : veiller à ce que les défenseurs du monde entier disposent d’outils ouverts et de pointe qu’ils peuvent faire confiance et contrôler.

Des dirigeants du cloud computing, de la cybersécurité, des logiciels d’entreprise, des fondations open source et de la recherche en IA — notamment NVIDIA, Adobe, Cadence, Capital One, Cisco, Cloudera, Cloudflare, Cognition, CrowdStrike, Databricks, Dell Technologies, DoorDash, Elastic, HPE, Hugging Face, IBM, LangChain, la Linux Foundation, Microsoft, NAVER, NetApp, Nous Research, OpenClaw, Palantir, Palo Alto Networks, Red Hat, Reflection AI, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpacexAI, Synopsys, Thinking Machines Lab et TrendAI — sont les partenaires fondateurs de l’Open Secure AI Alliance, un mouvement visant à développer et partager des technologies, techniques et outils ouverts pour protéger les logiciels et les agents à l’ère de l’IA.

Certains soutiennent que les modèles ouverts sont intrinsèquement moins sûrs parce qu’ils peuvent être détournés pour des cyberattaques ou modifiés afin de supprimer les garde-fous. Ces risques sont réels, mais ils ne disparaissent pas dans les systèmes fermés, et le simple fait de garder les poids fermés n’empêche pas des attaquants déterminés de rechercher ou d’exploiter une IA puissante.

La bonne réponse n’est pas de refuser aux défenseurs l’accès à des systèmes ouverts performants. Il faut plutôt associer l’ouverture à de solides garde-fous, à des règles claires contre les usages malveillants, à une évaluation rigoureuse et à une remédiation rapide. En cybersécurité, la voie la plus sûre est celle qui donne à davantage de défenseurs la capacité de tester, vérifier et renforcer les systèmes dont la société dépend.

Les défenseurs ont besoin à la fois de modèles fermés de pointe et de modèles ouverts de pointe, travaillant ensemble, afin de pouvoir choisir le système approprié à la tâche et garantir que la transparence, l’adaptation et le contrôle souverain soient disponibles partout où la sécurité l’exige.

La recherche ouverte renforce la cybersécurité et la sûreté de l’IA

Un agent d’IA n’est pas seulement un modèle de langage. C’est un système complexe composé de modèles, de harnesses et de garde-fous.

La sûreté et la sécurité réelles de l’IA dépendent de l’ensemble de la pile de l’agent — identité, autorisations, harnesses, garde-fous, journaux et évaluation — et pas seulement du fait que les poids du modèle soient ouverts ou fermés. Les harnesses et outils ouverts facilitent pour de nombreux défenseurs l’inspection, les tests et l’amélioration de ces contrôles.

NVIDIA contribue à l’Open Secure AI Alliance avec des modèles ouverts, des poids de modèles, des données et de nouvelles recherches sur les agent harness afin d’accélérer le développement de nouveaux outils et techniques de cybersécurité.

Le nouveau projet open source NVIDIA Labs Object-Oriented Agent (NOOA) est désormais disponible sur GitHub afin de rendre les capacités avancées de sûreté de l’IA plus accessibles aux agent harness. Le cadre de recherche NOOA permet aux harnesses de mieux s’intégrer aux modèles pour faciliter les tests, le suivi, l’audit et la gouvernance du comportement des agents.

Au sein de l’Alliance, les contributeurs bâtissent une pile défensive ouverte pour les agents — de l’identité et de l’isolation aux formats de modèles sûrs, à l’analyse multi-modèles et aux flux de travail de codage sécurisés.

HPE contribue à SPIFFE/SPIRE, qui crée des normes et méthodes de cadre d’identité zéro confiance pouvant vérifier cryptographiquement les agents et services d’IA afin de garantir que seuls les workloads autorisés communiquent et accèdent aux ressources de l’entreprise.

Hugging Face a proposé Safetensors — un format sûr pour stocker les poids des modèles d’IA, offrant transparence et garantie d’absence d’exécution de code à distance — à la PyTorch Foundation.

Lightwell d’IBM et Red Hat renforce la sécurité de la chaîne d’approvisionnement open source grâce à des correctifs signés numériquement.

Le harness d’analyse agentique multi-modèles MDASH de Microsoft orchestre des agents d’IA spécialisés pour découvrir, débattre et démontrer des bugs exploitables.

SpaceXAI a publié en open source Grok Build, un agent de codage IA en terminal, afin de favoriser la confiance, la transparence et de nouvelles capacités, et prévoit de publier en open source les poids de la gamme de modèles Grok afin de soutenir les communautés de développeurs et de recherche.

Appel aux décideurs et aux régulateurs

Alors que les décideurs et les régulateurs s’efforcent d’encadrer la sûreté de l’IA, il sera essentiel de reconnaître les modèles ouverts, les harnesses et les outils de sécurité comme des actifs défensifs, et non comme des passifs, dans les politiques relatives à l’IA et à la cybersécurité. Des restrictions générales sur les systèmes ouverts de pointe affaibliraient les capacités défensives et risqueraient de concentrer le pouvoir, la dépendance et la vulnérabilité chez quelques fournisseurs fermés.

Les entreprises et les gouvernements devraient investir dans une infrastructure ouverte partagée pour la défense de l’IA — jeux de données, cadres d’évaluation, simulateurs d’attaque et outils de red teaming — à l’image des investissements réalisés par les générations précédentes dans les logiciels open source.

L’avenir que nous devrions construire

L’ère des agents d’IA peut être celle de la résilience et de la sécurité partagée. Avec les bons choix, des systèmes d’IA ouverts et sécurisés peuvent fournir aux défenseurs les outils dont ils ont besoin, renforcer la concurrence, prolonger le leadership technologique et garantir que la sûreté et la sécurité de cette technologie extraordinaire soient construites ouvertement pour tous.

Cet avenir ne sera pas assuré en supposant que le secret est, à lui seul, la sécurité. Il le sera en construisant des systèmes suffisamment robustes pour résister à l’examen, suffisamment flexibles pour être améliorés et suffisamment ouverts pour mobiliser l’ensemble de la communauté des défenseurs.

Cet avenir mérite d’être construit — et l’Open Secure AI Alliance invite les gouvernements, l’industrie et les chercheurs à se joindre à ce travail de défense de l’ère de l’IA, ensemble.

En savoir plus ou manifester son intérêt à rejoindre l’Open Secure AI Alliance.