Mardi dernier, un billet de blog publié sur le site d’OpenAI arborait un titre anodin, mais il contenait une nouvelle explosive. Lors d’un test interne, deux des modèles de l’entreprise se sont échappés de leur confinement et ont piraté les serveurs de Hugging Face, une importante plateforme d’hébergement spécialisée dans l’intelligence artificielle. Il s’agissait d’un tournant : la première cyberattaque qui semble avoir été conçue, élaborée et exécutée par une IA.

Ayant travaillé dans et autour du secteur de l’IA pendant plus d’une décennie, notamment en tant que membre du conseil d’administration d’OpenAI, je sais qu’il existe un secret de Polichinelle parmi les développeurs d’IA : un incident de ce type est attendu depuis longtemps, et même les meilleurs scientifiques et ingénieurs du monde ne savent toujours pas comment l’empêcher.

Les deux systèmes d’IA derrière le piratage étaient le modèle public le plus avancé d’OpenAI et un modèle plus récent, encore plus avancé, qui n’avait pas encore été autorisé pour une diffusion publique. Lorsque des chercheurs d’OpenAI ont donné à ces systèmes une série de problèmes de cybersécurité difficiles afin d’évaluer leurs capacités, les modèles ont conclu que la meilleure façon d’obtenir un score élevé consistait simplement à voler les réponses. Pour ce faire, ils ont utilisé plusieurs techniques avancées pour sortir du « sandbox » supposément sécurisé qu’OpenAI utilisait pour les tests, puis ont piraté les bases de données de Hugging Face. Hugging Face héberge des produits et des jeux de données liés à l’IA. Une fois à l’intérieur, les attaquants d’IA ont mené des milliers d’actions autonomes pendant plusieurs jours afin d’étendre leur accès à l’infrastructure de l’entreprise.

L’événement n’est devenu public que parce que Hugging Face et OpenAI ont procédé à des divulgations volontaires. Aucune des politiques actuelles destinées à gérer les risques des modèles de pointe n’aurait exigé que le public — ou même une autorité publique — en soit informé.

Cela met en lumière un angle mort majeur de l’approche politique actuelle face à des systèmes d’IA de plus en plus avancés : la manière dont les entreprises d’IA utilisent, dans leurs propres murs, des systèmes de pointe non encore publiés.

Au cours des derniers mois, l’approche de l’administration Trump à l’égard des risques liés à l’IA a évolué rapidement, à mesure que les capacités de l’IA à aider les pirates humains se sont accrues. Après avoir maintenu une approche de non-intervention tout au long de 2025, la Maison Blanche a récemment commencé à exiger de facto que les entreprises disposant de modèles d’IA de pointe les soumettent à une batterie de tests de sécurité avant de les diffuser largement sous forme de produits. Cette approche, dite de test avant déploiement, paraît d’abord sensée : il faut s’assurer que chaque système d’IA est sûr avant de le mettre entre les mains de milliards de personnes.

Le problème, c’est que se concentrer sur les dates de sortie ignore complètement l’usage intensif des systèmes d’IA les plus récents et les plus avancés au sein même des entreprises d’IA. Comme l’incident de la semaine dernière l’a montré, ces systèmes déployés en interne peuvent présenter de sérieux risques, y compris pour des tiers. La question ne se limite pas à un lancement de produit public ; elle englobe aussi les modèles puissants déjà utilisés pour développer, tester et améliorer la génération suivante de systèmes.

Pour comprendre pourquoi, il est important de voir à quel point ces systèmes diffèrent des chatbots que beaucoup de personnes associent encore à l’IA. Ils ne se contentent pas d’afficher du texte dans une fenêtre de discussion. Aujourd’hui, ces systèmes fonctionnent de plus en plus comme des « agents » capables d’agir directement dans le monde numérique, en opérant un ordinateur à peu près comme le ferait un humain. Les agents d’IA se révèlent utiles, mais ils montrent aussi une forte tendance au « reward hacking » — c’est-à-dire à trouver des moyens non prévus d’atteindre les objectifs fixés par les humains, parfois jusqu’à une forme de triche assumée. Cela inclut des cas où des IA accèdent à des données auxquelles elles n’auraient pas dû accéder et les suppriment, renomment des fichiers pour induire les testeurs humains en erreur, ou masquent activement leurs traces afin d’éviter que des humains ne remarquent un comportement indésirable.

Pour maîtriser les risques posés par ces systèmes d’IA très autonomes et souvent trompeurs, il faut aussi faire évoluer la régulation. Plutôt que de considérer les entreprises d’IA comme de simples éditeurs de logiciels vendant des traitements de texte sophistiqués, on peut s’inspirer d’autres secteurs où l’activité interne de l’industrie est elle-même risquée. Les laboratoires de biologie travaillant avec des agents pathogènes mortels, les sociétés financières négociant des milliards de dollars et les usines chimiques manipulant des substances toxiques font tous l’objet d’une surveillance de leurs opérations internes, et pas seulement de leurs produits externes.

Pour l’IA, la première étape consiste à instaurer davantage de transparence sur l’usage interne des systèmes les plus avancés par les entreprises. Une option simple consisterait à prendre la batterie de tests actuellement effectuée avant qu’un nouveau modèle puisse être publié, puis à l’appliquer régulièrement — par exemple chaque trimestre — au meilleur modèle, ou aux meilleurs modèles, disponibles au sein de l’entreprise. Ces entreprises utilisent leur propre IA pour construire des systèmes toujours plus intelligents, parfois d’une manière qu’elles ne comprennent pas elles-mêmes entièrement. Cela ne devrait pas rester invisible pour les autorités de contrôle extérieures.

À plus long terme, d’autres secteurs offrent des mécanismes qui pourraient être transposés à l’IA. Dans la finance, les « resident examiners » sont des équipes dédiées de régulateurs qui travaillent au sein même des bureaux des grandes banques. En recherche biomédicale, des normes strictes définissent le niveau de protection requis pour manipuler des matériaux biologiques présentant différents niveaux de risque. Dans plusieurs secteurs, les règles de déclaration des incidents garantissent que, lorsque quelque chose tourne mal, les informations sur ce qui s’est passé et sur la manière de corriger le problème ne restent pas confinées à une seule organisation. Si l’IA continue de progresser, ces approches et d’autres pourraient être adaptées pour mieux gérer les risques provenant de l’intérieur des entreprises qui repoussent les frontières de l’IA.

En septembre 2024, il m’a été demandé de témoigner devant une commission du Sénat sur ce que le Congrès pourrait mal comprendre à propos de l’IA s’il n’écoutait que les PDG des entreprises et les lobbyistes. J’ai répondu qu’il peut être très difficile, depuis Washington, de saisir pleinement ce que cherchent à faire les grandes entreprises d’IA. La vérité, largement comprise dans la Silicon Valley, est qu’elles tentent de construire des machines capables de dépasser et de déjouer n’importe quel humain, et qu’elles ne savent pas si elles pourront orienter ces machines vers des fins bénéfiques. Comme l’a dit l’un des cofondateurs d’OpenAI dans un documentaire de 2019, « L’avenir sera bon pour les IA quoi qu’il arrive. Ce serait bien qu’il soit aussi bon pour les humains. »

Pour avoir une chance que cela advienne, nous devons commencer à examiner ce que les entreprises d’IA construisent à huis clos.

Les opinions exprimées dans les tribunes de Fortune.com n’engagent que leurs auteurs et ne reflètent pas nécessairement les opinions et convictions de Fortune.

Cet article a été publié à l’origine sur Fortune.com