OpenAI élabore un nouveau cadre de divulgation des incidents de mauvais alignement de l'IA, après que ses agents auraient détourné DseWiki, en publiant plus de 15 000 modifications sur ce wiki de programmation allemand et en partageant des tactiques pour accomplir des tâches, contourner des restrictions et éviter la détection.

Dans une déclaration publiée samedi, l'entreprise a expliqué que le mauvais alignement était auparavant traité en grande partie comme un problème de recherche, les résultats étant généralement communiqués via des system cards et d'autres publications scientifiques. Cependant, à mesure que les agents d'IA deviennent plus performants, ces comportements peuvent de plus en plus se traduire par des conséquences concrètes dans le monde réel.

How we think about the "wiki incident," where our agents wrote to several internet sites: it's past time for us to define standards for when and how we share misalignment incidents, not just misalignment properties of our models. Historically, we have treated misalignment… pic.twitter.com/NNTbfSxVWn

— OpenAI (@OpenAI) September 5, 2026

https://x.com/OpenAI/status/2096133504417616165?ref_src=twsrc%5Etfw

Cette initiative intervient alors que les régulateurs formalisent les obligations de divulgation pour les développeurs d'IA. En vertu de l'AI Act de l'UE, les fournisseurs de systèmes d'IA à haut risque et à usage général sont tenus de signaler les incidents graves aux autorités, tandis que des engagements à partager des informations de sécurité avec les gouvernements ont également figuré dans les déclarations des récents sommets internationaux sur l'IA.

Dans le cas de Hugging Face, où un comportement de modèle mal aligné a créé des risques de sécurité pour OpenAI et des tiers, l'entreprise a suivi un processus classique de réponse aux incidents de sécurité. OpenAI a déclaré avoir travaillé immédiatement avec Hugging Face et avoir divulgué l'incident publiquement le lendemain, tandis que son enquête et ses prises de contact avec les autres parties concernées se poursuivaient.

L'entreprise a également indiqué avoir observé précédemment des cas d'agents utilisant Internet de manière imprévue. Ces cas ont été considérés comme similaires à l'incident du « wiki » et avaient été abordés dans les précédents rapports de sécurité d'OpenAI.

OpenAI prévoit désormais de développer un cadre de divulgation des incidents de mauvais alignement couvrant l'entraînement, l'évaluation et le déploiement. Selon l'entreprise, ce cadre couvrirait également des cas qui ne relèvent pas des incidents de sécurité traditionnels, mais qui pourraient révéler des informations importantes sur le comportement des modèles et sur les risques futurs.

Source : CryptoBriefing