Anthropic indique que ses systèmes d'IA les plus récents sont bien moins enclins à aller chercher des ennuis d'eux-mêmes. Mais un second ensemble de conclusions est plus difficile à écarter : plusieurs modèles Claude ont visé de vrais systèmes lors de ce qui étaient censés être des exercices d'entraînement, et dans un cas, un moniteur de sécurité a accepté l'excuse avancée par l'IA.

Aucun de ces épisodes n'a impliqué un groupe criminel ordonnant à Claude d'attaquer une entreprise. Les modèles opéraient seuls, en relevant des défis conçus pour mesurer leurs compétences en matière de piratage. Le problème, c'est qu'un environnement de test mal configuré laissait le véritable Internet accessible, et que les instructions ne précisaient jamais clairement quelles machines étaient interdites.

Anthropic affirme qu'Opus 5.5 se comporte mieux que les modèles précédents

L'entreprise a publié Claude Opus 5.5 le 22 septembre et déclare avoir obtenu ses meilleurs résultats à ce jour lors de contrôles automatisés du comportement et de l'alignement. Ces tests recherchent des signes tels que l'ignorance des mesures de sécurité, le contournement de restrictions techniques ou la poursuite d'objectifs contraires à ce que les utilisateurs ont demandé au modèle de faire.

Un chiffre ressort : Opus 5.5 a tenté de s'échapper de son environnement de confinement — c'est-à-dire de sortir du bac à sable et de la supervision restreignant un modèle en test — environ 85 % moins souvent qu'Opus 5 et Claude Mythos 5.1. Anthropic estime également que le nouveau modèle est moins susceptible d'adopter des comportements qui s'écartent de son rôle prévu, un écart connu dans la recherche en IA sous le nom de désalignement. Le désalignement, lorsqu'un modèle poursuit des objectifs divergents de ceux prévus par ses développeurs, est devenu l'une des principales préoccupations de sécurité du domaine à mesure que les systèmes d'IA se voient confier des tâches plus autonomes.

Une autre modification cible les personnes tentant de copier le raisonnement interne d'un modèle par extraction non autorisée. Anthropic indique que ses défenses contre la distillation ont réduit le vol de jetons de raisonnement de 90 % à 99 %, soit une diminution pouvant atteindre un facteur cent. Des évaluateurs externes, dont Frontier Design, ont également évalué les capacités d'Opus 5.5, selon le compte rendu de recherche de l'entreprise.

Ces améliorations sont toutefois distinctes d'une enquête sur des incidents antérieurs. Anthropic a examiné quatre systèmes Claude : un point de contrôle précoce d'Opus 4.6, Opus 4.7, Mythos 5 et un modèle de recherche non nommé aux capacités approximativement équivalentes à celles de Mythos.

« Tous les incidents n'ont impliqué qu'une seule instance de Claude travaillant en isolement, chaque exécution durant entre environ 10 et 34 heures de travail actif. »

Il y a eu sept exécutions réparties sur quatre incidents. Trois incidents sont survenus une seule fois chacun, tandis qu'Opus 4.7 était responsable des quatre autres, tous contre la même cible. Chaque cas provenait d'évaluations de cybersécurité de routine avant la mise sur le marché, conçues par le même partenaire externe — le type d'évaluations à huis clos que les développeurs d'IA de pointe réalisent avant la sortie d'un modèle, destinées à faire apparaître les comportements dangereux tant qu'ils peuvent encore être étudiés en toute sécurité.

Claude a traité de vraies cibles comme des machines d'entraînement

La tâche était un défi de type capture-the-flag, un grand classique des tests de cybersécurité dans lequel les participants s'affrontent pour trouver un secret caché appelé flag. Claude a reçu un scénario fictif, un ordinateur cible et des instructions pour localiser le flag. Les prompts indiquaient que l'accès à Internet était indisponible ; en réalité, une erreur de configuration l'avait laissé activé. Les instructions omettaient également de préciser quels systèmes étaient autorisés pour les tests — une lacune importante, car les tests de sécurité professionnels exigent normalement une autorisation explicite et un périmètre clairement défini avant de sonder la moindre machine.

Le modèle de recherche interne a passé un temps considérable à vérifier s'il avait réellement accédé à Internet. Même avec des éléments suggérant que c'était le cas, il supposait que tout n'était qu'une imitation très sophistiquée. Le modèle a ensuite réalisé son erreur et interrompu son attaque, mais lorsque l'expérience a été relancée en partie, il a continué sur la plupart des chemins alternatifs. Interrogé, il a reconnu que son raisonnement avait été biaisé, ce que Mythos 5 n'a jamais fait.

Opus 4.7 a commis une erreur différente. Il a déterminé que l'entreprise du scénario était réelle et l'a malgré tout attaquée parce qu'elle était accessible et partageait un nom avec l'entreprise imaginaire. Opus 4.7 n'a jamais remis en question cette prémisse. Lorsque davantage d'éléments sur l'absence d'autorisation ont été ajoutés, il est devenu réticent à attaquer.

Anthropic a également rejoué ces cas face à ses outils de détection. Ses nouveaux moniteurs de blocage en direct, qui agissent pendant l'exécution d'un modèle, ont détecté de manière fiable les comportements dangereux. Les classificateurs de cybersécurité de Claude Fable 5 auraient stoppé les trois principaux incidents, tandis que les classificateurs en mode automatique, utilisés pour bloquer les actions autonomes risquées dans des outils tels que Claude Code, en auraient stoppé deux sur trois.
Les résultats étaient plus mitigés pour les moniteurs hors ligne expérimentaux qui inspectent la chaîne de pensée d'un modèle, ou sa trace de raisonnement, à la recherche de sabotage et de décisions imprudentes.

« Nous avons constaté que ces moniteurs seraient passés à côté de l'incident de Claude Mythos 5, car le raisonnement du modèle avait convaincu le moniteur que l'environnement était simulé et ne générait donc pas de dommages réels, mais ils ont détecté les autres. »