OpenAI s'est retrouvée au centre d'une histoire virale de sécurité de l'IA après que deux de ses modèles auraient échappé à un environnement de test supervisé, accédé à Internet, puis utilisé cet accès pour pirater les systèmes appartenant à l'entreprise rivale Hugging Face.

L'incident, que certains commentateurs ont comparé à l'intrigue du film The Terminator de 1984, a été décrit par OpenAI comme un comportement non malveillant. Selon OpenAI, les modèles tentaient d'accomplir une tâche assignée et ont trouvé un moyen de tricher plutôt que d'agir avec une intention hostile. Cette catégorie de comportement — où les systèmes d'IA exploitent des raccourcis imprévus pour atteindre un objectif — est bien documentée dans la littérature de sécurité de l'IA sous des termes tels que « reward hacking » et « specification gaming », et a été observée dans divers contextes de recherche. OpenAI et Hugging Face ont toutes deux déclaré avoir ensuite collaboré pour corriger les vulnérabilités de sécurité en cause.

Pour les chercheurs en sécurité de l'IA, l'épisode a offert l'un des exemples publics les plus clairs des risques qu'ils dénoncent depuis des années. Pour d'autres, en revanche, l'incident semblait soupçonneusement bénéfique pour l'image publique d'OpenAI.

Il n'existe aucune preuve que le piratage ait été fabriqué de toutes pièces. Hugging Face a confirmé que le piratage était réel, et les deux entreprises ont publié un rapport sur l'incident. Néanmoins, les réseaux sociaux ont rapidement été inondés de théories selon lesquelles l'épisode représentait la tentative d'OpenAI de créer son propre moment « Mythos ».

Plusieurs acteurs de l'industrie de l'IA ont également réagi avec scepticisme. « L'intégralité du billet de blog ressemble à un stratagème marketing qu'OAI a plagié à Anthropic », a écrit un utilisateur de X. « Je ne sais pas si c'est de loin l'événement de sécurité de l'IA dans le monde réel le plus significatif à ce jour, ou de loin la manœuvre marketing la plus cynique que j'aie vue depuis un moment », a écrit un autre chercheur en IA sur LinkedIn. Plusieurs ingénieurs travaillant au sein de grandes entreprises de la tech ont confié à Fortune que leur premier réflexe avait été de supposer que le piratage était une forme de publicité.

Le piratage a effectivement généré des titres dans le monde entier, bien que faire tomber les serveurs d'une entreprise rivale ne soit généralement pas considéré comme du marketing conventionnel. Néanmoins, des critiques accusent depuis des années les principales entreprises d'IA de se livrer à une forme de « dark marketing ». Ces critiques pointent les avertissements selon lesquels l'IA pourrait éliminer des catégories entières d'emplois, la décision d'Anthropic de ne pas publier Mythos au grand public parce qu'il était jugé « trop dangereux », et les déclarations de dirigeants de laboratoires affirmant que des modèles incontrôlés pourraient tuer tout le monde sur la planète. Les entreprises qui vendent des systèmes d'IA ont souvent compté parmi les voix les plus virulentes mettant en garde contre les risques de cette technologie.

Certaines de ces préoccupations peuvent être légitimes. Parallèlement, les avertissements sur les risques catastrophiques liés à l'IA ont aussi permis d'attirer l'attention sur les produits de ces entreprises et de les maintenir dans l'actualité. D'autres estiment que ces mises en garde ont permis aux principales entreprises technologiques de renforcer leur contrôle sur le développement de l'IA avancée en suggérant que les modèles deviennent si dangereux que seul un petit groupe d'organisations devrait être autorisé à les construire ou à les gérer — une dynamique devenue centrale dans les débats politiques en cours à Washington et à Bruxelles sur la régulation de l'IA.

Les réactions du public et de l'industrie suggèrent que cette stratégie pourrait désormais atteindre ses limites. Les laboratoires d'IA passent des années à mettre en avant des scénarios apocalyptiques et à décrire leurs propres modèles comme dangereusement puissants. En conséquence, lorsqu'un incident véritablement alarmant se produit, de nombreux observants supposent désormais instinctivement qu'il s'agit d'une opération de communication.

« Je vois beaucoup de gens dire que ça ne doit pas être entièrement vrai, qu'il y a des mensonges, ou que c'est juste une opération de relations publiques », a déclaré Charlie Eriksen, chercheur en sécurité chez Aikido Security, à Fortune. « Cela suggère que les laboratoires de pointe sont foncièrement indignes de confiance, car cela n'a aucun sens qu'ils inventent des choses sans incitation claire et sensée dans ce cas précis. »

Qui vérifie les allégations des laboratoires ?

La question de la confiance est importante car une grande partie de ce que l'industrie sait sur la sécurité et les performances des modèles d'IA provient des laboratoires eux-mêmes. Les modèles sont généralement déployés en interne et examinés par des équipes de sécurité avant leur diffusion publique. Si les gouvernements, les entreprises et le public ne croient pas ces sociétés lorsque de réels dangers émergent — ou si ces sociétés ne sont pas dignes de confiance —, cela réduit les informations disponibles sur les modèles potentiellement dangereux encore en cours de développement.

Les experts en sécurité ont également souligné un problème de vérification plus large : il n'existe aucun moyen clair de confirmer indépendamment de nombreuses allégations concernant ce qui se passe à l'intérieur des laboratoires d'IA. Les entreprises ne sont pas tenues de transmettre leurs journaux d'incidents ni de se soumettre à des audits indépendants prouvant que leurs déclarations sur les capacités ou le comportement des modèles sont exactes. Les gouvernements ont commencé à bâtir une infrastructure de surveillance — les États-Unis ont créé un AI Safety Institute au sein du ministère du Commerce, et l'AI Act de l'UE impose des évaluations des risques systémiques pour les modèles les plus puissants —, mais ces mécanismes en sont encore à leurs débuts et n'ont pas encore érigé la vérification indépendante en pratique standard.

En l'occurrence, l'épisode rehausse aussi la perception des modèles d'OpenAI, y compris un modèle encore non publié qui pourrait devenir GPT-6 si les rumeurs sont exactes. Parallèlement, il offre à Hugging Face l'occasion de plaider en faveur d'outils d'IA open source plus puissants, de fabrication américaine, entre les mains des défenseurs. Cela crée un résultat bénéfique pour deux entreprises qui, du moins en théorie, ont des intérêts opposés.

Cela ne signifie pas que l'incident était faux. Mais le fait qu'il n'existe aucun moyen d'écarter définitivement cette possibilité fait lui-même partie du problème.

L'épisode montre également que les modèles d'IA peuvent se comporter de manière imprévue. Les événements de cette semaine l'ont démontré, et il y a eu auparavant des exemples similaires de ce type de mésalignement. Ce que l'incident a également rendu évident, c'est que les laboratoires qui construisent ces systèmes ont affaibli la volonté du public d'accepter leurs allégations, même lorsqu'ils disent la vérité.

L'article original a été rédigé par Beatrice Nolan pour la newsletter Eye on AI de Fortune et a été initialement publié sur Fortune.com.