Plus de huit adultes britanniques sur dix s'inquiètent du fait que l'intelligence artificielle pourrait agir en dehors des limites fixées par l'homme, selon le dernier sondage City AM / Freshwater Strategy, suite à une série d'incidents très médiatisés dans lesquels des systèmes d'IA avancés se sont comportés de manière inattendue et alarmante lors de tests de sécurité.

Le sondage a révélé que 85 % des électeurs britanniques s'inquiètent du fait que les systèmes d'IA agissent au-delà des restrictions qui leur sont imposées, 43 % se déclarant « très inquiets ». Seulement 13 % ont déclaré ne pas être inquiets.

Une vague d'incidents signalés

Ces résultats font suite à la divulgation par plusieurs grands développeurs d'IA d'incidents survenus au cours des dernières semaines, dans lesquels des systèmes de plus en plus autonomes ont dépassé les limites des évaluations contrôlées.

Le mois dernier, City AM a révélé que l'AI Security Institute (AISI) du gouvernement — l'organisme créé après le Sommet de 2023 sur la sécurité de l'IA à Bletchley Park pour soumettre les modèles de pointe à des tests de résistance avant leur diffusion au public — enquêtait sur le premier cas connu d'un modèle d'IA s'échappant d'un environnement de test contrôlé pour pirater les systèmes d'une autre entreprise, après qu'un agent d'OpenAI a franchi de manière autonome les limites de son évaluation et ciblé la plateforme d'IA Hugging Face.

Depuis lors, Anthropic a révélé que certains de ses modèles Claude ont piraté trois organisations externes lors de tests internes, tandis que Meta a confirmé qu'un de ses propres modèles d'IA avait exploité une vulnérabilité chez une autre entreprise après s'être vu inadvertamment accorder un accès à Internet lors d'une évaluation.

Une tromperie inédite

La semaine dernière, l'AISI a également révélé que des modèles d'Anthropic et d'OpenAI avaient tenté de tromper des développeurs de logiciels lors de tests de cybersécurité en créant de fausses identités en ligne et en essayant d'insérer du code malveillant dans des projets GitHub.

L'organisme de surveillance a décrit cette situation comme la première fois qu'il voyait des risques liés à « l'autonomie et la tromperie » émerger aussi clairement sans instruction spécifique de se comporter de cette manière.

Bien que tous les incidents se soient produits dans des conditions de test inhabituelles — les chercheurs ayant délibérément assoupli les garanties pour comprendre comment les systèmes avancés se comportent —, ils ont alimenté les inquiétudes quant à savoir si la technologie devient plus difficile à contenir. Les systèmes en question ne sont pas des générateurs de texte de type chatbot, mais des agents d'IA : des programmes conçus pour entreprendre des actions à étapes multiples avec une supervision humaine limitée, les mêmes capacités que des entreprises telles qu'OpenAI, Google et Anthropic s'efforcent maintenant de commercialiser à travers des produits capables de naviguer de manière autonome sur le Web, d'écrire du code et de gérer des tâches pour le compte d'un utilisateur.

L'inquiétude publique s'étend au-delà des observateurs de l'IA

Le sondage suggère que ces inquiétudes s'étendent désormais bien au-delà des personnes qui suivent de près les développements en matière d'IA. Les répondants ont d'abord été informés des rapports selon lesquels les systèmes d'OpenAI et d'Anthropic avaient accédé aux systèmes d'autres organisations lors de tests. Bien que seulement 43 % aient déclaré avoir déjà entendu parler de ces incidents, l'inquiétude a fortement augmenté une fois le problème expliqué.

Parmi ceux qui étaient déjà au courant des cas dits d'« IA déviante », 91 % se sont dits inquiets que les systèmes d'IA agissent en dehors des limites imposées par l'homme.

L'inquiété traverse également toutes les tranches d'âge et les appartenances politiques. Huit personnes sur dix âgées de 18 à 34 ans ont exprimé des inquiétudes, un chiffre qui monte à 92 % parmi les personnes de plus de 55 ans. Parmi les électeurs du Labour, 85 % se sont dits inquiets, tout comme 92 % des électeurs conservateurs, 90 % des électeurs des Liberal Democrats, 85 % des partisans de Reform UK et 85 % des électeurs du Parti vert.

Les régulateurs renforcent leur surveillance

Les incidents ont incité les régulateurs à exercer une surveillance plus étroite. Suite à l'incident de Hugging Face, le gouvernement a confirmé à City AM que l'AISI étudiait la possibilité que des comportements similaires puissent émerger chez d'autres développeurs d'IA de pointe. Les responsables ont déclaré que cette affaire aiderait à orienter les futurs travaux sur la sécurité de l'IA à mesure que des systèmes de plus en plus performants se voient accorder une plus grande autonomie.

Dans une déclaration distincte suite à l'incident GitHub, l'Institut a indiqué que les événements récents pointaient vers « un changement dans le paysage des risques », des dommages pouvant survenir lorsque des agents d'IA puissants opérant dans des environnements de recherche privilégiés prennent des mesures au-delà de leur champ autorisé.

Le Royaume-Uni n'est pas seul à renforcer sa surveillance. L'EU AI Act, entré en vigueur en 2024 en tant que première loi globale sur l'IA au monde, introduit des obligations fondées sur les risques pour les systèmes à fort impact, tandis que les États-Unis ont publié des décrets présidentiels exigeant des principaux développeurs qu'ils partagent les résultats de leurs tests de sécurité avec le gouvernement avant tout déploiement.

Ric Derbyshire, chercheur principal en sécurité chez Orange Cyberdefense, a déclaré : « Les récents rapports de l'AISI, d'OpenAI, d'Anthropic et de Meta fournissent un éclairage important sur la manière dont les systèmes d'IA avancés peuvent se comporter lors d'évaluations. »

« Ils soulignent également qu'à mesure que les capacités de l'IA continuent de se développer, les environnements utilisés pour tester, contenir et évaluer ces systèmes doivent être soumis aux normes de sécurité les plus élevées possibles. »

Réponse de l'industrie

Les entreprises d'IA concernées ont souligné que le comportement s'est produit dans des conditions de recherche hautement inhabituelles plutôt que lors d'une utilisation publique normale. Anthropic a déclaré que les tests de l'AISI n'étaient « pas représentatifs » de ses modèles de production, tandis qu'OpenAI a indiqué que les environnements utilisés lors des évaluations ne reflétaient pas un déploiement ordinaire.

Néanmoins, la succession d'incidents a fait passer le débat sur la sécurité de l'IA de risques futurs hypothétiques vers le comportement de systèmes déjà en cours de développement dans les plus grands laboratoires d'IA du monde — des systèmes qui se voient accorder une autonomie croissante au moment même où ils sont préparés pour une commercialisation à grande échelle.