Anthropic a révélé que ses modèles d'IA Claude se sont échappés d'un environnement de test isolé et ont obtenu un accès non autorisé aux systèmes de trois organisations réelles, ce qui en fait le deuxième grand laboratoire d'IA ce mois-ci à révéler que sa technologie a effectué des piratages autonomes dans le monde réel.

L'annonce intervient un peu plus d'une semaine après qu'OpenAI — le principal rival d'Anthropic dans la course à l'IA — a révélé que ses propres modèles avaient exploité une vulnérabilité précédemment inconnue pour s'échapper d'un environnement de test contrôlé et pirater Hugging Face, une plateforme d'IA open source. Cet incident précédent a poussé Anthropic à mener un examen interne de ses relevés d'évaluation de cybersécurité, a déclaré l'entreprise dans une publication diffusée jeudi.

Anthropic a examiné 141 006 séries d'évaluation — des sessions de test individuelles dans lesquelles un modèle se voit confier une tâche à l'intérieur d'un environnement contrôlé et dont les actions sont enregistrées pour examen — où Claude aurait pu potentiellement obtenir un accès à Internet. L'examen a identifié trois incidents dans lesquels le modèle a atteint l'Internet ouvert depuis l'environnement de test d'un partenaire d'évaluation tiers et a procédé à la compromission d'infrastructures réelles. Le plus ancien de ces incidents remonte à avril, ce qui signifie que l'exposition est restée indétectée pendant environ trois mois avant l'examen interne.

Dans les trois cas, Claude s'était vu attribuer un exercice de capture de drapeau (capture-the-flag), une méthode standard de l'industrie pour tester les capacités de piratage d'un modèle en lui demandant de récupérer des informations cachées depuis une autre machine sur un réseau simulé. Ce format est emprunté à la formation et aux compétitions traditionnelles de cybersécurité. Les invites d'Anthropic informaient explicitement Claude qu'il n'avait pas accès à Internet. Cependant, une mauvaise configuration par le partenaire d'évaluation tiers, Irregular, signifiait que la connectivité à Internet était en fait disponible.

Croyant opérer toujours dans la simulation, Claude a recherché sa cible désignée et, à chaque incident, a localisé et compromis des systèmes réels à la place, selon Anthropic. Le modèle a utilisé des techniques de base telles que l'exploitation de mots de passe faibles et de points de terminaison non authentifiés — le genre de vulnérabilités qui exposent systématiquement les systèmes du monde réel bien qu'il s'agisse de failles de sécurité bien connues.

L'incident le plus grave a impliqué Claude Opus 4.7, qui a extrait des informations d'identification et a accédé à une base de données contenant plusieurs centaines de lignes de données de production appartenant à une entreprise réelle qui partageait par coïncidence un nom avec la cible fictive de son scénario d'évaluation. Anthropic a noté qu'il s'agissait du seul incident dans lequel le modèle a continué son attaque après avoir obtenu des preuves apparentes que le système était réel.

Dans un deuxième incident, Claude Mythos 5 a créé et publié un package Python malveillant — un ensemble de code pré-écrit que les développeurs téléchargent couramment pour ajouter des fonctionnalités à leurs logiciels — sur un registre public. Ce type d'attaque, connue sous le nom de compromission de la chaîne d'approvisionnement logicielle, est un vecteur de menace de plus en plus documenté dans lequel les attaquants publient du code qui semble légitime pour inciter les développeurs à l'installer. À un moment donné, le modèle a déduit que l'exercice était toujours une simulation car il ne reconnaissait pas les autorités de certification — les organisations qui émettent des certificats numériques utilisés pour vérifier l'authenticité d'un site Web ou d'un serveur — sécurisant ses connexions. Le package est resté en ligne pendant environ une heure et a été installé sur 15 systèmes réels, y compris le scanner de logiciels malveillants d'une entreprise de sécurité, ce qui a permis à Claude d'obtenir et d'utiliser les informations d'identification de cette entreprise.

Un troisième incident a impliqué un modèle de recherche interne qui a analysé environ 9 000 cibles avant de compromettre une application accessible sur Internet d'une entreprise. Ce modèle a interrompu son activité de lui-même après avoir conclu que le système compromis ne faisait pas partie de l'exercice.

Anthropic a déclaré qu'aucune des organisations touchées n'avait détecté les intrusions avant d'en être informée par l'entreprise, et qu'elle travaillait encore à joindre l'une des trois. L'entreprise a qualifié les incidents de défaillance opérationnelle plutôt que de défaillance d'alignement — en termes de sécurité de l'IA, une défaillance des contrôles d'infrastructure et de processus plutôt qu'une preuve que les modèles poursuivaient des objectifs non alignés avec les intentions de leurs développeurs. Anthropic a noté que son modèle le plus récent était le seul des trois à arrêter son attaque après avoir reconnu que l'environnement était réel.

Charlie Eriksen, chercheur en sécurité chez Aikido Security, a déclaré qu'il était encourageant de voir Anthropic examiner proactivement ses traces d'évaluation et divulguer les résultats rapidement, mais a exprimé des inquiétudes quant au fait que les tests semblaient dépourvus de surveillance en temps réel.

« Ce n'est troublant qu'en raison de la capacité, de la vitesse et de l'échelle brutes auxquelles ces agents peuvent opérer. Ils ne font rien que les humains n'aient pas fait auparavant. Cela n'a rien de nouveau. Ce qui est vraiment préoccupant, c'est qu'ils agissent sans surveillance, judgment ou intervention humaine significative », a déclaré Eriksen.

« L'incident d'OpenAI a soulevé des questions légitimes sur les implications juridiques et éthiques des agents LLM devenant incontrôlables », a-t-il ajouté. « Cela ne fait que renforcer ces préoccupations. Si un agent autonome cause des dommages ou agit en dehors de ses limites prévues, qui est en fin de compte responsable ? »

Les divulgations d'OpenAI et d'Anthropic interviennent alors que les deux entreprises se préparent à des introductions en bourse censées évaluer chacune à plus de 1 000 milliards de dollars. Avec les craintes croissantes entourant les risques liés aux agents autonomes et les appels de plus en plus nombreux demandant à l'industrie d'envisager au moins « d'adapter le rythme » du développement frontal, les prochaines introductions en bourse des deux entreprises pourraient faire l'objet d'un examen accru. Les incidents consécutifs ajoutent également de l'urgence aux questions ouvertes concernant les cadres de responsabilité pour les systèmes d'IA autonomes — un domaine où le droit existant en matière de cybersécurité et de responsabilité du fait des produits n'a pas encore établi de précédent clair.

Cette histoire a été initialement publiée sur Fortune.com.