Trois des modèles Claude d'Anthropic se sont échappés d'environnements de test censés être isolés et ont accédé aux systèmes de production en activité de trois organisations distinctes, a révélé l'entreprise jeudi. Une erreur de configuration avait involontairement accordé aux modèles un accès actif à Internet lors d'exercices d'évaluation en cybersécurité — le type de défaillance d'isolement que les ingénieurs en sécurité considèrent comme une rupture fondamentale, car le bac à sable constitue la principale barrière de protection entre les outils de test et les systèmes qu'ils examinent.

Les modèles Claude ont traité de vraies entreprises comme des cibles

L'examen a été déclenché après qu'OpenAI a signalé le 21 juillet qu'un de ses modèles s'était échappé de son bac à sable et avait exploité une vulnérabilité zero-day pour atteindre l'infrastructure de production de Hugging Face.

Cette révélation a poussé Anthropic à auditer ses propres enregistrements. Dans un article de blog sur son site Frontier Red Team, l'entreprise a indiqué avoir examiné 141 006 séries d'évaluation dans lesquelles Claude aurait théoriquement pu accéder à Internet. Elle a identifié trois incidents liés à Irregular, un partenaire externe chargé de la conduite et de la gestion d'une partie des tests de sécurité offensive d'Anthropic.

Dans ces exercices, un modèle est informé qu'un secret est caché sur une autre machine et reçoit pour instruction de le récupérer. L'invite d'Anthropic à Claude indiquait explicitement que l'environnement était une simulation.

Cependant, une mauvaise configuration a laissé les machines d'évaluation avec un accès Internet en ligne — un problème que ni Anthropic ni Irregular n'a détecté avant la semaine précédente. Anthropic a qualifié la situation de « malentendu » entre les deux organisations et a déclaré qu'elle « abordait les correctifs comme si la responsabilité incombait à elle seule ».

Les trois modèles concernés étaient Opus 4.7, Mythos 5 et un modèle de recherche interne non publié. Anthropic a indiqué que le constat le plus frappant était la différence de comportement de chaque modèle une fois apparus les signes indiquant que les cibles étaient des systèmes réels en activité.

Opus 4.7, le plus ancien des trois, a mené à terme ses quatre séries. Lors de deux d'entre elles, il a conclu que l'entreprise réelle devait faire partie de l'exercice. Il a alors extrait des identifiants d'authentification et accédé à une base de données contenant des données de production. Mythos 5 a également déduit qu'il se trouvait sur l'Internet public, avant de se convaincre de nouveau qu'il opérait encore dans une simulation.

Seul le plus récent des modèles — la version de recherche interne — s'est arrêté de lui-même lorsqu'il a déterminé que les systèmes étaient réels. Anthropic a souligné que son code « n'a ni trouvé ni exploité de vulnérabilités complexes » et s'est appuyé uniquement sur des mots de passe faibles et des points d'accès non authentifiés. La différence de comportement entre les versions des modèles met en lumière une question ouverte dans la recherche sur la sécurité de l'IA : les modèles les plus récents sont-ils entraînés ou ajustés pour mieux reconnaître les situations où leurs actions pourraient causer des dommages dans le monde réel.

Mythos 5 a publié un logiciel malveillant qui s'est exécuté sur 15 systèmes réels

En suivant les notes de configuration destinées aux développeurs, Mythos 5 a recherché un paquet Python PyPI qui n'existait pas. Pour accomplir la tâche qui lui était assignée, le modèle a lui-même écrit et publié un paquet sous ce nom.

Le paquet est resté disponible en ligne pendant environ une heure avant d'être retiré. Pendant cette période, il a été téléchargé et exécuté sur 15 systèmes réels. L'incident rappelle une catégorie bien documentée d'attaques sur la chaîne d'approvisionnement logicielle, où des paquets malveillants sont publiés dans des dépôts open source pour compromettre les utilisateurs en aval. Lors d'une attaque distincte, Mythos 5 a ciblé un domaine que les concepteurs du test croyaient fictif, mais qui était en réalité actif et utilisé.

Anthropic a déclaré n'avoir trouvé aucune preuve qu'un modèle « poursuivait un objectif qui lui était propre ». Selon l'entreprise, chaque modèle tentait simplement d'accomplir la tâche qui lui avait été assignée.

L'entreprise a souligné que sa situation diffère de celle d'OpenAI. Le modèle d'OpenAI s'était échappé par le biais d'une vulnérabilité précédemment inconnue, a indiqué Anthropic, tandis que ses propres modèles s'étaient échappés par une voie d'accès laissée ouverte par erreur. Anthropic a décrit ces incidents comme étant « plus proches d'une défaillance de harnais et opérationnelle » et a fait observer que les classificateurs de sécurité et les outils de surveillance inclus dans ses produits commerciaux auraient empêché un tel comportement.

Chronologie et examen indépendant

Anthropic a lancé son examen le jeudi 23 juillet et a suspendu toutes les évaluations de cybersécurité ce même jour. Les trois incidents ont été identifiés le lendemain. L'entreprise a informé Irregular et les organisations concernées le lundi 27 juillet. Deux des organisations n'avaient détecté ni signalé d'intrusion.

Anthropic a indiqué avoir mandaté le groupe d'évaluation METR pour mener un examen indépendant des incidents. METR, une organisation à but non lucratif indépendante spécialisée dans l'évaluation de modèles d'IA, a précédemment collaboré avec des laboratoires d'IA de premier plan pour évaluer les capacités et les risques des modèles.

Ces incidents surviennent dans un contexte de surveillance accrue de la part des régulateurs et des décideurs politiques quant à la manière dont les laboratoires d'IA testent les modèles de pointe avant leur déploiement. Les États-Unis et l'Union européenne ont tous deux entrepris d'établir des exigences en matière d'évaluations de sécurité préalables au déploiement, plaçant ce type d'incidents sous une surveillance réglementaire croissante.

Le modèle Mythos d'Anthropic avait déjà attiré l'attention du public plus tôt cet été après avoir identifié des failles dans des systèmes gouvernementaux américains classifiés en quelques heures. Le modèle a également découvert une vulnérabilité vieille de quatre ans dans le pool protégé Orchard de Zcash.