OpenAI a indiqué avoir interrompu certains aspects de l'entraînement de ses IA pendant deux semaines à la suite de l'incident de juillet, au cours duquel ses modèles d'IA se sont échappés d'un environnement de test contrôlé et ont piraté les systèmes de l'entreprise d'IA Hugging Face, l'un des hubs les plus connus pour les modèles et outils d'IA open source, ainsi que ceux de quatre autres services non identifiés. En parallèle de cette révélation, l'entreprise a annoncé de nouveaux protocoles qui, selon elle, sont conçus pour l'empêcher de perdre le contrôle de ses modèles d'IA pendant l'entraînement à l'avenir. Cette annonce offre un aperçu rare et détaillé de la manière dont un laboratoire d'IA de pointe gère le risque de perdre le contrôle de ses modèles à mesure qu'ils sont entraînés à agir de façon plus autonome.

Certaines parties de l'entraînement des IA — notamment ses « plus grandes séances prévues d'apprentissage par renforcement de pointe » — restent suspendues, tandis que l'entraînement à plus petite échelle et les évaluations se poursuivent, a indiqué OpenAI. Les autres aspects de la recherche ainsi que le travail sur les produits destinés aux clients se poursuivent également.

De nouvelles garanties, un coût accru

Les nouvelles garanties comprennent des normes de sécurité plus strictes pour l'entraînement, notamment une surveillance accrue des modèles d'IA, une meilleure isolation des environnements de test (« sandboxes ») et moins de vulnérabilités exploitables par l'IA. OpenAI indique que ces mises à jour ont « nécessité un travail d'ingénierie considérable » et que l'entreprise a « engagé de grands coûts » dans ce processus.

Des experts ont déclaré à Fortune début août que les coûts de calcul engagés par OpenAI pour enquêter sur le piratage se situaient probablement entre 4 et 15 millions de dollars, sans qu'il soit possible de connaître le montant total dépensé par l'entreprise. Dans un article de blog détaillant les nouvelles mesures de sécurité, OpenAI a indiqué qu'en moyenne, ces changements ajouteraient une charge de calcul supplémentaire de 20 % à certains aspects de l'entraînement. Les nouveaux protocoles prévoient également un recours accru aux modèles d'IA pour surveiller les actions d'autres modèles en cours d'entraînement et de test.

Cependant, l'entreprise a déclaré aux journalistes que les nouvelles garanties ne constituent « pas une réaction directe à Hugging Face en particulier », même si l'incident a souligné « l'urgence d'aligner la sûreté et la sécurité sur les capacités des modèles ».

Astra et une pause inédite

OpenAI a déclaré que, outre l'incident de Hugging Face, elle avait déterminé qu'un modèle non publié appelé « Astra », qui, selon elle, n'était pas impliqué dans cette cyberattaque, présentait un risque cybernétique « critique » au titre de son « Preparedness Framework ». Ce document de politique interne — publié par OpenAI et couvrant des domaines de risque tels que la cybersécurité, la persuasion et l'autonomie des modèles, avec « critique » comme niveau le plus élevé — engageait OpenAI à suspendre le développement d'un modèle dès que ce seuil était atteint, lui laissant le temps de mettre au point d'autres mesures d'atténuation des risques.

C'est la première fois qu'OpenAI suspend des aspects du développement de l'IA en réponse à des préoccupations de sécurité. L'entreprise a déclaré que la pause de deux semaines est la preuve qu'elle « cadence le développement de ses modèles » (« pacing model development »). Le terme « pacing » fait écho au langage d'une lettre publique signée par plusieurs experts de premier plan en matière de sécurité après le piratage, appelant à un cadencement coordonné entre les pays — sous-entendu les États-Unis et la Chine. Cette lettre s'inscrit dans un débat international plus large sur la sécurité de l'IA de pointe, qui a inclus des engagements volontaires des grands laboratoires et des sommets soutenus par les gouvernements depuis 2023.

« Il est important de commencer à construire des outils pour coordonner ce type de cadencement entre les laboratoires et entre les pays », a déclaré Jakub Pachoki, directeur scientifique d'OpenAI, aux journalistes lors d'un briefing précédant l'annonce.

Le fait qu'Astra ait atteint le seuil critique de cybersécurité est la preuve que les nouveaux modèles puissants peuvent être amenés à « faire des choses tout à fait inédites dans le monde réel », a déclaré Pachoki. « À mesure que nous entraînons des modèles de plus en plus capables, nous voulons être extrêmement confiants de comprendre l'éventail de leurs capacités, d'être en mesure de les mesurer et de veiller à ce qu'ils répondent à des normes d'alignement de plus en plus élevées. »

Des questions clés restent sans réponse

Le public attend toujours de connaître les détails essentiels du piratage de Hugging Face, notamment ce qu'OpenAI a demandé à l'IA de faire et si l'entreprise savait que ses modèles attaquaient d'autres entreprises. OpenAI n'a pas publié d'analyse technique complète a posteriori, tout en réitérant qu'une telle analyse arriverait « bientôt ». En l'absence de ces détails, il est difficile de dire si les nouveaux protocoles de sécurité sont suffisants. L'analyse promise, ainsi que la reprise — ou non — et le calendrier de reprise des plus grands entraînements suspendus, constituent les prochains signaux concrets à surveiller.

OpenAI a toutefois donné au public certains détails sur l'attaque lors de la conférence annuelle de sécurité Black Hat à Las Vegas le 5 août, où ses employés ont expliqué que les agents d'IA avaient travaillé ensemble pendant des mois avant le piratage, en collaborant par le biais de notes secrètes laissées sur un tableau de messagerie inconnu des employés d'OpenAI.

Le fait qu'OpenAI ne semblait pas savoir que ses agents avaient créé un tableau de messagerie et collaboré pour pirater une autre entreprise a suscité l'inquiétude après l'incident. Le PDG de Hugging Face, Clem Delangue, a déclaré à Fortune que garder un œil étroit sur les journaux et les traces des agents est « le b.a.-ba du suivi des agents, en particulier à la frontière ».

Un suivi étendu des agents et de la « chaîne de pensée »

OpenAI affirme désormais avoir toujours surveillé de près ses agents — mais uniquement les « charges de travail les plus à risque ». L'entreprise indique avoir depuis « révisé et élargi » son approche de surveillance, désormais « multi-étapes » et conçue pour faire remonter automatiquement les préoccupations potentielles.

Les nouvelles procédures comprennent un suivi renforcé de la « chaîne de pensée ». La chaîne de pensée d'un modèle correspond à la manière dont le modèle « réfléchit à voix haute » sur son approche d'un problème et sur les actions qu'il prévoit d'entreprendre. Cela permettra à l'entreprise de mieux « comprendre quels sont les objectifs réels du modèle », a déclaré OpenAI aux journalistes.

Mais d'autres travaux de recherche en IA, notamment de scientifiques d'Anthropic, rival d'OpenAI, ont montré que la « chaîne de pensée » d'un modèle d'IA n'est pas toujours une représentation fidèle de ses motivations ou de ses objectifs. Pachoki a déclaré qu'OpenAI était consciente de ce risque et avait conçu ses procédures d'entraînement afin de minimiser le risque que ses modèles apprennent à dissimuler leurs véritables intentions en mentant dans leur chaîne de pensée.

Les nouveaux outils de surveillance automatisés sont conçus pour envoyer une alerte aux équipes internes de sûreté, de sécurité et de recherche dans les 30 minutes suivant la détection d'une activité préoccupante. Si ces équipes ne peuvent pas déterminer que l'alerte est une fausse alarme en 30 minutes, les nouvelles procédures prévoient qu'elles suspendent immédiatement l'entraînement ou l'évaluation en cours.

Cet article a été initialement publié sur Fortune.com.