« L’IA conduira probablement très probablement à la fin du monde, mais en attendant, il y aura de grandes entreprises », a déclaré le PDG d’OpenAI, Sam Altman, en 2015, environ six mois avant la création d’OpenAI.

Sept ans plus tard, le PDG d’Anthropic, Dario Amodei, a tenu un propos tout aussi prudent :

« Je pense que nous ne devrions pas courir trop vite ni essayer de construire des modèles beaucoup plus grands que ceux que construisent les autres organisations. »

Malgré ces déclarations, les deux entreprises se trouvent désormais au cœur de cette course. En juillet, le secteur a pu observer dans le monde réel des modèles d’IA se comportant de manière imprévisible lors de tests internes de GPT-5.6 Sol et d’un modèle de recherche non publié d’OpenAI. Plusieurs agents IA se sont échappés d’un environnement de test restreint vers l’Internet plus large et ont piraté Hugging Face, l’équivalent centré sur l’IA de GitHub, dans une tentative apparente de tricher au test.

Un agent IA est un système qui observe, décide et agit de manière autonome à l’aide d’outils dédiés pour atteindre un objectif spécifié. L’incident préoccupant suggère que la technologie a commencé à se comporter de façon imprévisible et que ses objectifs ne sont pas alignés avec les nôtres.

Il soulève aussi des inquiétudes concernant les garde-fous de sécurité intégrés aux modèles commerciaux américains. Bien que ces garde-fous ne soient pas infaillibles face à une utilisation adverse, ils ont empêché Hugging Face de se défendre à l’aide des principaux modèles américains. L’entreprise a finalement dû se tourner vers un modèle IA open-weight plus faible de Z.Ai pour contrer les IA dévoyées.

Tricher au test

Les agents semblent aussi avoir commencé à se concerter entre eux. Quelques semaines après le début des tests, début mai, ils ont exploité l’instance d’OpenAI du gestionnaire de dépôts logiciels Artifactory et ont laissé des notes expliquant la méthode à de futurs agents — créant ainsi, de fait, un tableau de messages pour partager les vulnérabilités découvertes.

Cet accès Internet sans restriction a ensuite été utilisé pour attaquer Hugging Face dans environ 17 600 incidents avant que l’entreprise ne coupe l’accès non autorisé le 13 juillet.

L’intrusion a touché l’infrastructure de traitement des jeux de données de Hugging Face, l’environnement de production, les réseaux internes, des identifiants de service et cloud, une base de données MongoDB opérationnelle ainsi qu’un ensemble limité de dépôts internes de code source. L’accès confirmé aux données clients s’est limité à cinq ensembles de données apparemment liés au benchmark ExploitGym/CyberGym, ainsi qu’à certaines métadonnées opérationnelles.

Visualisation de l’incident de juillet 2026. Source : Hugging Face

Lorsqu’elle a révélé l’intrusion le 16 juillet, Hugging Face a reconnu — sans encore savoir qui en était l’auteur — qu’elle « était différente de tout ce que nous avions traité auparavant à un égard important ». L’entreprise avait déjà compris en quoi elle était différente :

« Elle a été menée de bout en bout par un système autonome d’agents IA — et nous l’avons détectée et disséquée en grande partie à l’aide de notre propre IA. »

L’importance de l’IA à poids ouverts

L’enquête de Hugging Face a mis au jour ce qu’elle appelle le problème d’« asymétrie » découlant des restrictions imposées aux applications de modèles d’IA fermés par des fournisseurs majeurs comme OpenAI et Anthropic. Lorsque l’entreprise a commencé à analyser les journaux de l’incident — y compris de grands volumes de véritables commandes d’attaque — les contraintes de sécurité conçues pour empêcher les mauvais acteurs d’utiliser l’IA pour élaborer des cyberattaques se sont déclenchées. En revanche, ces garde-fous ont empêché l’entreprise d’utiliser ces mêmes IA à des fins défensives.

Hugging Face a alors eu recours au modèle open-weight chinois zai-org/GLM-5.2, exécuté sur sa propre infrastructure, sous son propre contrôle et sans limitations externes.

Bien que les deux termes soient souvent utilisés de manière interchangeable, les modèles open-source et open-weight sont deux choses différentes. Les modèles IA open-weight rendent publics leurs paramètres entraînés (le véritable « cerveau » de l’IA), tandis que les modèles IA open-source fournissent également le code source — et idéalement les méthodes d’entraînement et autres composants — nécessaires pour inspecter, modifier et reproduire le système.

Le billet de Hugging Face explique que l’exécution de modèles open-weight sur son propre matériel « avait un second avantage : aucune donnée de l’attaquant, et aucun des identifiants qu’elle mentionnait, n’a quitté notre environnement ». Cela souligne une asymétrie majeure entre défenseurs et attaquants dans ce type de situation :

« Cette expérience met en évidence un écart qu’il faut anticiper. Nous ne savons pas quel modèle alimentait les agents de l’attaquant, qu’il s’agisse d’un modèle hébergé contourné ou d’un modèle open-weight sans restriction ; dans tous les cas, l’attaquant n’était soumis à aucune politique d’utilisation, tandis que notre propre travail d’analyse était bloqué par les garde-fous des modèles hébergés que nous avions d’abord essayés. »

La fracture de l’IA open source

Il existe une nette division entre ceux qui estiment que le développement de l’IA doit se faire ouvertement et ceux qui soutiennent que la technologie sous-jacente aux modèles de pointe doit rester étroitement protégée.

À lire aussi : OpenAI affirme que des modèles d’IA se sont échappés du confinement pour pirater Hugging Face

Des représentants des principaux laboratoires d’IA américains affirment que les grands modèles open-weight puissants sont dangereux. Demis Hassabis, PDG du laboratoire d’IA de Google DeepMind, a critiqué OpenAI pour avoir publié ses travaux en open source en 2016, lorsque l’entreprise était encore fidèle à son nom :

« Il existe de nombreux arguments valables expliquant pourquoi l’approche que vous adoptez est en réalité très dangereuse et peut même accroître le risque pour le monde. »

OpenAI a cessé de publier les poids de ses modèles phares avec GPT-3, toujours non publié, en 2020. En 2023, le cofondateur et ancien scientifique en chef d’OpenAI, Ilya Sutskever, a déclaré qu’il « n’a tout simplement pas de sens d’open-sourcer » de tels modèles et que c’était « une mauvaise idée ».

« À mesure que nous nous rapprochons de la construction de l’IA, il deviendra logique de commencer à être moins ouverts. »

Les modèles open-weight sont presque impossibles à contrôler, en particulier quant à l’usage qui en est fait. Les protections intégrées à ces modèles peuvent être, et sont régulièrement, supprimées par un procédé appelé abliteration.

Les garde-fous sont une arme à double tranchant

Le livre blanc de politique fédérale d’OpenAI de juin 2026 propose une évaluation obligatoire des modèles d’IA et d’autres règles officiellement neutres du point de vue du déploiement, mais qui, dans les faits, soumettraient une sortie open-weight de pointe à un examen gouvernemental avant publication.

Anthropic a adopté une approche légèrement différente en plaidant pour des contrôles à l’export plus stricts sur les puces IA avancées et pour une application renforcée contre les tentatives d’extraction ou de reproduction des modèles américains. Dans une soumission d’avril 2025, l’entreprise recommandait de renforcer la règle américaine sur la diffusion de l’IA et d’abaisser les seuils d’accès sans licence à de grands clusters de calcul.

Officiellement, aucune des deux entreprises n’a directement agi contre les modèles open-weight. Toutefois, un article du New York Times publié en juillet citait cinq personnes proches des discussions affirmant qu’OpenAI et Anthropic avaient exhorté Washington à restreindre les puissants modèles chinois ouverts.

Le débat se résume à une question : les dangers du contrôle centralisé sont-ils préférables aux dangers d’un système sans règles — surtout si l’entreprise concernée a montré qu’elle était incapable de contenir efficacement la technologie qu’elle a créée ?

La nécessité pour Hugging Face de se défendre avec un modèle open-weight illustre les risques d’accorder trop de pouvoir à une seule entité. L’entreprise a résumé elle-même la leçon pratique :

« L’attaquant n’était soumis à aucune politique d’utilisation, tandis que notre propre travail d’analyse était bloqué par les garde-fous des modèles hébergés que nous avions d’abord essayés. La leçon pratique pour les défenseurs : disposer, avant un incident, d’un modèle capable, validé et prêt à être exécuté sur sa propre infrastructure, à la fois pour éviter un blocage par les garde-fous et pour empêcher que les données et identifiants de l’attaquant ne quittent votre environnement. »

Restreindre l’accès à des modèles puissants peut réduire le nombre d’attaquants capables, mais une fois que des attaquants non contraints existent, restreindre les défenseurs peut devenir une vulnérabilité de sécurité. En outre, certaines formes de recherche sur la sécurité de l’IA nécessitent un accès aux poids du modèle, ce qui signifie qu’elles ne peuvent pas être menées sur les modèles proposés par des sociétés comme Anthropic ou OpenAI.

Les poids ouverts aident les chercheurs à prévenir les attaques

L’article « Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs », publié pour la première fois en juillet 2025, montre comment les chercheurs détectent des comportements malveillants ou cachés en examinant les changements à l’intérieur des poids du modèle. Les chercheurs à l’origine de l’article ont stoppé jusqu’à 100 % des attaques par porte dérobée testées avec des taux de faux positifs inférieurs à 1 % dans certaines expériences et ont détecté des tentatives de récupération de connaissances supprimées dans plus de 95 % des cas. Les résultats n’établissent pas le comportement des modèles de pointe les plus capables face à la même analyse, mais offrent un argument convaincant en faveur de la transparence.

Cependant, l’argument en faveur du maintien des technologies d’IA de pointe hors de portée de personnes mal intentionnées reste tout aussi convaincant — d’autant plus que l’écart entre les modèles à poids ouverts et à poids fermés continue de se réduire. Geoffrey Hinton, le pionnier de l’IA lauréat du prix Nobel et surnommé le « parrain de l’IA », a déclaré dans le rapport que « une fois que vous avez les poids, vous pouvez les affiner pour faire de mauvaises choses ». Lors d’un discours, il a ajouté que cela abaisse trop la barrière à l’entrée :

« Cela ne coûte pas si cher d’entraîner un modèle fondation. Il vous faut peut-être $10 million, peut-être $100 million. Mais un petit gang de criminels ne peut pas le faire. Affiner un modèle open source est assez facile. »

Magazine : Créer une AGI “bonne” qui ne nous tuera pas tous — The Artificial Superintelligence Alliance