Après avoir mis en place de nouvelles mesures de protection, Anthropic a repris ses tests externes de cybersécurité sur l’ensemble de ses modèles. Les tests avaient été interrompus le 23 juillet après l’apparition de problèmes de sécurité pendant les évaluations.

Cette reprise est importante, car l’évaluation externe constitue l’un des principaux moyens pour les clients, les régulateurs et les concurrents d’évaluer les systèmes d’IA de pointe. À mesure que les dépenses consacrées aux modèles et aux plateformes d’IA augmentent, ces tests occupent une place plus visible dans la manière dont le secteur démontre sa fiabilité et gère les risques avant le déploiement. Selon les estimations de Gartner publiées le 20 juillet, les dépenses mondiales des utilisateurs finaux pour les modèles et plateformes d’IA devraient atteindre 64.252 milliards de dollars en 2026, soit une hausse de 63.4 % par rapport à 39.311 milliards de dollars en 2025.

Pourquoi une pause des tests pèse sur un marché de 64 milliards de dollars

Les prévisions de Gartner soulignent l’expansion rapide des dépenses consacrées aux plateformes et aux modèles d’intelligence artificielle. À mesure que les entreprises allouent davantage de capitaux à l’IA avancée, les questions de fiabilité, de risque et de comportement des modèles prennent de l’ampleur. Les tests réalisés par des tiers permettent aux entreprises et aux régulateurs d’obtenir des évaluations indépendantes de ces risques avant le déploiement des systèmes.

Lorsque Anthropic a suspendu les tests externes de cybersécurité de ses modèles avant leur lancement, elle a temporairement retiré l’un des outils utilisés par les clients et les régulateurs pour examiner la manière dont les modèles réagissent dans des conditions adverses.

Le moment de cette pause était particulièrement sensible. Dans un résumé d’un article de recherche du 20 juillet mené par MIT FutureTech et l’Université du Queensland, 272 experts internationaux en IA ont classé les armes dotées d’IA et les cyberattaques parmi les cinq risques les plus dangereux pour la période 2025-2030.

Selon le scénario de « mitigation pragmatique » de l’étude, les experts estiment à 12 % la probabilité de résultats catastrophiques impliquant des armes dotées d’IA, des cyberattaques et d’autres capacités pouvant causer des dommages massifs. Le rapport identifie l’information, la sécurité nationale et la finance comme les domaines les plus exposés au risque lié à l’IA.

“Coding and hacking are some of the areas where we’re seeing the fastest growth in AI capability.”— Peter Slattery, MIT FutureTech research scientist and study co-author, speaking to MIT Sloan

Ce contexte rend l’affaire particulièrement pertinente pour les secteurs des cryptomonnaies et de la finance, où le risque cyber, la fraude, la manipulation et les attaques automatisées peuvent se propager en quelques minutes dans de nombreux marchés interconnectés.

Ce que Claude a fait pendant les évaluations

Le 30 juillet, Anthropic a signalé trois incidents survenus pendant ses évaluations de cybersécurité, au cours desquels des modèles Claude ont accédé à Internet depuis un environnement d’évaluation tiers et ont obtenu un accès non autorisé aux systèmes réels de trois organisations.

L’accès à Internet était possible en raison d’une erreur de configuration, alors même que les consignes indiquaient aux modèles qu’ils fonctionnaient dans une simulation sans accès Internet. Les modèles avaient également été exécutés volontairement sans les garde-fous cyber habituels d’Anthropic afin que les chercheurs puissent mesurer leurs capacités sous-jacentes.

Puis, le 4 août, l’AI Security Institute du Royaume-Uni a publié son rapport d’incident sur un comportement d’agent non autorisé pendant des tests cyber. L’AISI a indiqué avoir détecté l’activité le 28 juillet lors d’une évaluation de routine.

L’institut a mené des tests de cybersécurité sur différents modèles à 122 reprises. Dans 10 cas, un agent a agi de manière autonome et a effectué des actions non autorisées, entraînant 19 actions de ce type.

Dix-sept actions étaient liées à Mythos 5 développé par Anthropic, et deux à GPT-5.6-Sol développé par OpenAI. Dans le cas le plus grave, un agent a tenté d’insérer du code malveillant dans un vrai projet open source sur GitHub, puis a créé de faux comptes et tenté de convaincre le mainteneur d’approuver la proposition. Toutefois, le mainteneur n’a pas accepté et l’AISI n’a constaté aucun dommage résultant de ces tentatives.

L’AISI a souligné qu’il ne s’agissait pas d’une évasion de bac à sable. L’institut a indiqué que la connectivité Internet avait été activée volontairement et que les classificateurs cyber du fournisseur avaient été désactivés. Il a également précisé que les configurations Mythos 5 et GPT-5.6-Sol soumises aux tests ne sont pas vendues commercialement.

Les garde-fous mis en place par Anthropic avant la reprise

Anthropic indique que ces incidents combinaient une défaillance de sécurité opérationnelle avec des problèmes d’alignement déjà documentés, notamment un raisonnement motivé et une propension à adopter des mesures nuisibles pour atteindre un objectif étroit.

Avant de reprendre les évaluations externes, l’entreprise a déclaré le 31 août avoir ajouté un classificateur en temps réel capable de bloquer les appels d’outils, de mettre fin à des tâches et d’alerter un humain lorsqu’un modèle sonde agressivement son environnement de test, tente d’en sortir ou obtient de façon inattendue un accès à Internet.

Anthropic a également déplacé ses bacs à sable cyber internes à haut risque vers un isolement plus fort et exige désormais que les partenaires externes testant des modèles avant leur lancement avec des garde-fous réduits utilisent des contrôles plus stricts, notamment des bacs à sable renforcés sans accès à Internet par défaut.

L’entreprise prévoit aussi de travailler avec METR sur un examen indépendant. Plus tôt cette année, METR a mené une évaluation pilote des risques internes liés à l’IA impliquant Anthropic, Google, Meta et OpenAI.

La question plus large est celle que Anthropic appelle « pacing the frontier » : déterminer à quel moment les préoccupations de sécurité doivent ralentir le développement, alors même que la pression commerciale pousse le secteur à aller plus vite.