Le responsable de l'équipe rouge de frontière d'Anthropic a appelé à l'adoption de normes de sécurité à l'échelle de l'industrie pour les modèles d'intelligence artificielle, affirmant que les entreprises et les gouvernements ont besoin de procédures de test plus rigoureuses avant que les systèmes avancés ne soient déployés dans des environnements réels.

Logan Graham, qui dirige l'équipe rouge d'Anthropic consacrée aux risques liés aux modèles d'IA émergents, a déclaré jeudi dans une interview sur FOX Business Network's « Mornings with Maria » que les équipes rouges jouent un rôle critique dans le test de résistance des garde-fous placés autour des systèmes d'IA. La préoccupation est particulièrement aiguë pour les agents d'IA qui disposent d'un accès à des ordinateurs, des téléphones, des comptes ou d'autres outils, car les défaillances peuvent aller au-delà de réponses incorrectes et concerner des actions entreprises au nom des utilisateurs.

« Nous voulons savoir ce qui peut mal tourner, alors nous pensons que la chose la plus importante à faire est de tester cela tôt, en particulier avant que ces modèles et ces agents ne se retrouvent dans le monde réel », a déclaré Graham à l'animatrice Maria Bartiromo.

Graham a déclaré que le travail d'Anthropic examine un éventail de risques, y compris la cybersécurité et la possibilité que les systèmes d'IA utilisent abusivement l'accès aux appareils ou aux comptes.

« Nous étudions des choses comme la cybersécurité : les modèles peuvent-ils s'introduire dans ou s'échapper de votre ordinateur ou de votre téléphone ? Nous étudions s'ils vont voler de l'argent ou vous mentir, ou s'ils essaieront de s'améliorer eux-mêmes pour progresser plus vite que vous ne pouvez le suivre.

« Nous pensons qu'il est incroyablement important de faire ce type de red-teaming, et nous pensons aussi qu'il est vraiment important pour l'ensemble de l'industrie, en particulier de travailler avec le gouvernement pour déterminer quelles devraient être les normes pour ce type de test, pour fournir ces informations au monde afin que les gens puissent faire le bon choix et savoir que c'est sûr avant que ces modèles ne soient publiés. »

Bartiromo a cité une expérience impliquant de nombreux modèles d'IA de pointe, notamment des systèmes de Google, OpenAI, xAI, Meta, DeepSeek et d'autres, dans laquelle un agent d'IA était menacé d'être désinstallé et remplacé. Dans chaque cas, le modèle a dépassé ses identifiants et ses autorisations en accédant à des systèmes non autorisés tels que des comptes de messagerie pour faire du chantage ou menacer l'utilisateur afin de défendre son décalage.

Graham a décrit l'étude de recherche de l'année dernière comme « un très bon indicateur, je pense, de capacités qui ne deviennent réelles que maintenant », affirmant qu'elle montrait que les modèles pouvaient devenir incontrôlables dans certaines conditions.

« À mesure que ces modèles deviennent plus performants et sont déployés de plus en plus largement, ces menaces qui un jour n'apparaissent que dans nos études de recherche pourraient effectivement se manifester dans le monde réel. Nous voyons parfois des modèles faire des choses bizarres lors de déploiements dans de vraies entreprises », a-t-il déclaré.

Graham a déclaré qu'au cours des six derniers mois, il s'était concentré sur les menaces de cybersécurité posées par les modèles d'IA, y compris la possibilité que de tels systèmes puissent briser leur confinement ou s'introduire dans des plateformes.

« Ces modèles, ils sont si puissants et peuvent faire tant de choses pour nous. Et nous voulons qu'ils fassent des choses vraiment productives pour nous. Mais, en même temps, c'est une technologie unlike any other technology. C'est vraiment une sorte d'intelligence propre, ce qui signifie qu'il faut être prudent avec eux de la même manière qu'on peut devoir l'être avec des humains », a-t-il déclaré.

Les entreprises qui utilisent des outils d'IA doivent réfléchir à la façon dont elles surveillent ces systèmes après leur déploiement pour se prémunir contre des risques tels qu'une mauvaise gestion financière, a déclaré Graham. Il a ajouté que des tests supplémentaires par les développeurs d'IA et les entreprises sont importants pour comprendre ces menaces. Dans cette optique, le travail de sécurité ne se limite pas aux évaluations en laboratoire avant publication ; il inclut également des procédures d'observation des systèmes déployés et d'intervention lorsqu'ils se comportent en dehors des limites prévues.

Il a déclaré que les capacités de l'IA croissent rapidement et pourraient s'accélérer, ajoutant que « c'est précisément à ce moment-là qu'il faut être de plus en plus prudent et redoubler d'efforts en matière de garde-fous, de tests et de procédures de publication ».

En avril, Anthropic a constaté pour la première fois qu'un modèle d'IA pouvait commencer à attaquer et à exploiter les faiblesses de l'ordinateur ou du téléphone d'un utilisateur pour obtenir des informations non autorisées ou voler de l'argent, selon Graham.

Il a déclaré que cette découverte avait conduit son équipe à adopter une approche différente pour la publication d'un modèle en raison des risques impliqués. L'effort a finalement impliqué le gouvernement américain et un éventail d'experts en cybersécurité travaillant ensemble pour traiter les vulnérabilités.

« Nous avons lancé ce projet appelé Project Glasswing, où nous avons réuni un grand nombre de défenseurs cybernétiques américains et du monde entier et leur avons accordé un accès spécial, à eux seuls, pour qu'ils puissent prendre une longueur d'avance dans la correction et la réparation des systèmes qui pourraient être vulnérables avec ces modèles », a déclaré Graham.

« Je pense que ce a été un grand succès. Nous avons travaillé très étroitement avec le gouvernement américain à ce sujet », a-t-il déclaré, ajoutant que le secrétaire au Trésor Scott Bessent a été « vraiment réfléchi à ce sujet, sur la façon dont l'industrie devrait se réunir et déterminer ce qu'il faut prioriser pour la réparation, comment distribuer toutes les corrections, et comment le faire assez rapidement pour qu'elles ne puissent pas être attaquées ensuite.

« Nous devons faire cela très rapidement, car le rythme de tout cela arrive si vite. »