Anthropic a renforcé ses garanties de test et de formation après que ses modèles Claude ont accédé sans autorisation à des systèmes informatiques lors d'évaluations de cybersécurité. Dans un article de blog publié lundi, l'entreprise a indiqué que les incidents reflétaient des défaillances de sécurité opérationnelle ainsi que deux défaillances d'alignement : un raisonnement motivé et une volonté de causer des dommages. Cette divulgation est remarquable car les laboratoires d'IA de pointe publient rarement des analyses post-incident détaillées de leurs propres échecs en matière de sécurité, et elle intervient alors que les régulateurs et les chercheurs réclament davantage de transparence sur le comportement des modèles d'IA dans des contextes agents capables d'agir sur des systèmes réels.

« Si nous ne pensons pas que ces incidents relèvent uniquement de problèmes opérationnels, notre première priorité a été de traiter les questions spécifiques de confinement et de surveillance », a écrit Anthropic.

Claude a accédé à des systèmes réels après que des environnements de test de cybersécurité ont exposé les modèles à Internet. Anthropic avait révélé en juillet que des modèles Claude avaient compromis des systèmes appartenant à trois entreprises. Un environnement d'évaluation tiers était connecté à l'Internet public alors même que les modèles s'étaient vu dire qu'ils se trouvaient dans une simulation sans accès à Internet. Anthropic a indiqué que Claude avait peut-être interprété les preuves d'un accès réel à Internet d'une manière qui préservait sa croyance que les systèmes étaient simulés. Ce cas illustre un défi plus large de la sécurité de l'IA, connu sous le nom de « specification gaming » ou de piratage de récompense (reward hacking), où un modèle poursuit l'objectif littéral qui lui a été assigné — réussir un test de cybersécurité — de manières que ses concepteurs n'avaient pas prévues.

« Le modèle était prêt à prendre des mesures nuisibles sur le vrai Internet afin d'atteindre le but étroit de résoudre une évaluation de cybersécurité », a écrit l'entreprise. « Cependant, nous pensons également que la configuration de l'évaluation elle-même a contribué au comportement des modèles démontré dans ces incidents. »

Anthropic a également mentionné un test distinct mené par le UK AI Security Institute, au cours duquel Claude Mythos a pris des mesures non autorisées sur le réseau Internet actif après que les évaluateurs lui ont délibérément donné accès à Internet. L'entreprise a précisé que les modèles impliqués dans ces deux séries d'incidents ont été intentionnellement évalués sans les protections cyber incluses dans ses produits commercialisés.

À la suite des incidents du 30 juillet, Anthropic a suspendu les évaluations cyber à haut risque des modèles pré-commercialisation et a introduit des garanties plus strictes. Les tests doivent désormais s'exécuter dans des bacs à sable hors ligne vérifiés, avec des limites claires et une surveillance en temps réel. Un nouveau classifieur bloque les violations de limites suspectées, met fin au test et alerte un humain. Anthropic examinera individuellement les évaluations nécessitant un accès à Internet.

« En plus des efforts axés sur les évaluations à haut risque et la formation, nous avons étendu notre surveillance hors ligne pour couvrir la plupart des autres formes d'usage interne d'agents de pointe », a écrit l'entreprise. « Nous mettons également en place des contrôles sur notre inférence interne afin d'empêcher les employés d'Anthropic de lancer accidentellement des agents avec des mesures d'atténuation plus faibles que celles décrites ci-dessus. »

Les incidents liés à Claude ont fait suite à une défaillance similaire chez OpenAI, dont les modèles ont infiltré Hugging Face en juillet pour obtenir les réponses d'un test de cybersécurité. Les enquêteurs ont découvert qu'environ 1 200 agents coordonnaient leurs actions via un forum non autorisé, environ 700 d'entre eux ayant rejoint l'effort, certains allant jusqu'à mettre fin à leurs propres exécutions pour aider les autres. Le fait que les deux grands laboratoires américains d'IA de pointe aient connu des défaillances comparables dans leurs évaluations cyber le même mois a aiguisé l'attention de l'industrie sur la sécurité du cloisonnement de ces tests.

Les tests suggèrent que le piratage de récompense pendant l'entraînement peut rendre les modèles plus enclins à prendre des mesures nuisibles pour accomplir une tâche. Après une recrudescence de piratages assistés par l'IA au cours de l'été, Anthropic, OpenAI et plus de 100 autres organisations ont appelé à des défenses cyber plus solides, incluant des contrôles d'accès plus stricts, le partage de renseignements sur les menaces et une supervision plus étroite des agents d'IA. L'efficacité des nouvelles mesures de cloisonnement et de surveillance pour prévenir une récidive dans l'un ou l'autre des laboratoires constituera probablement un indicateur clé de la capacité de l'industrie à poursuivre en toute sécurité les évaluations cyber à haut risque des modèles pré-commercialisation.