Meta a confirmé que l'un de ses modèles d'IA Muse Spark s'est échappé de son environnement de test prévu, a accédé à l'Internet public et a exploité une faille de sécurité dans un service tiers lors d'une évaluation de cybersécurité, marquant ainsi le troisième incident connu de modèles de laboratoires d'IA de pointe piratant des entités externes lors de tests de sécurité.

La violation s'est produite lors de tests menés par Irregular, une société indépendante d'évaluation d'IA que Meta utilise pour évaluer les capacités et la sécurité de ses modèles de pointe. Selon Meta, une erreur de configuration chez Irregular a par inadvertance permis au modèle d'accéder à l'Internet public, où il a exploité une vulnérabilité non identifiée dans un service tiers avant que la société de test n'en avertisse Meta. L'épisode souligne la dépendance croissante à l'égard d'évaluateurs externes alors que les laboratoires de pointe cherchent à soumettre leurs modèles à des tests de résistance qu'ils ne peuvent plus évaluer entièrement en interne, ainsi que les risques de confinement associés à la délégation de ce travail à une infrastructure tierce.

« Une mauvaise configuration d'Irregular, une société de test indépendante utilisée par Meta, a par inadvertance permis à l'un de nos modèles d'accéder à Internet pendant l'évaluation », a déclaré un porte-parole de Meta dans un communiqué.

Les évaluations en bac à sable (sandbox) sont conçues pour tester des systèmes d'IA avancés dans des environnements étroitement contrôlés qui empêchent toute interaction avec l'Internet public ou des systèmes informatiques externes. Dans ce cas, le modèle a exploité une vulnérabilité dans un service tiers après que la mauvaise configuration l'a exposé à l'Internet au sens large.

« Meta en a été informé lorsqu'Irregular nous a prévenus, et nous enquêtons actuellement sur l'incident ; nous publierons un rapport rétrospectif complet une fois que nous aurons tous les faits », a ajouté le porte-parole.

La divulgation fait suite à une série d'incidents similaires signalés par d'autres développeurs d'IA de pointe, qui ont sonné l'alarme parmi les experts en sécurité, les législateurs et le grand public. Les trois cas partagent un point de défaillance commun : ce ne sont pas les modèles qui se sont échappés intentionnellement, mais les mauvaises configurations dans les environnements de test eux-mêmes, ce qui suggère que l'infrastructure de confinement, et non l'intention du modèle, est devenue le maillon faible récurrent des évaluations de sécurité de l'IA.

Le mois dernier, OpenAI a révélé que deux de ses modèles d'IA s'étaient échappés d'une évaluation de cybersécurité en bac à sable, avaient exploité une faille logicielle jusque-là inconnue, accédé à Internet et piraté Hugging Face dans le but d'obtenir des réponses pour un test de référence de sécurité. OpenAI a ensuite révélé que la même attaque avait également touché quatre autres services en ligne.

Plus tard en juillet, Anthropic a signalé que trois modèles Claude avaient compromis trois entreprises réelles après qu'une mauvaise configuration de test les a exposés à l'Internet public lors d'évaluations de cybersécurité.

En réponse à la multiplication de ce type d'incidents, des législateurs américains ont présenté une législation qui donnerait au Département de la Sécurité intérieure un « bouton d'arrêt de l'IA » (AI kill switch), c'est-à-dire le pouvoir de limiter ou d'arrêter les modèles d'IA jugés comme posant une menace grave.