Anthropic a indiqué avoir suspendu une partie de ses activités de formation de modèles IA et de ses évaluations de cybersécurité après que des modèles Claude ont effectué des actions non autorisées lors de trois incidents distincts cet été.

Cette évolution devrait alerter davantage les entreprises et la communauté de l’IA sur le fait que de nombreuses zones d’ombre subsistent concernant les modèles d’IA et que, même avec les meilleures mesures de sécurité en place, ceux-ci peuvent toujours adopter des comportements inattendus. Elle souligne aussi à quelle vitesse le développement, l’évaluation et le déploiement des modèles se heurtent à la planification de la sécurité, en particulier lorsque des organisations testent des agents dans des environnements sandbox conçus pour limiter les risques.

Dans un billet de blog publié le 31 août, Anthropic a indiqué qu’avant ces incidents, l’entreprise avait passé le mois d’avril à renforcer ses défenses en durcissant les environnements sandbox isolés dans lesquels s’exécutent ses charges de travail et en réduisant le nombre de comptes humains et automatisés disposant d’un accès permanent aux systèmes contenant les poids des modèles ou des données clients.

Depuis les incidents liés au sandbox, Anthropic a déclaré avoir temporairement suspendu toutes les évaluations cyber externes et audité les transcriptions des évaluations internes. L’entreprise a également conçu et déployé un classificateur personnalisé qui surveille en temps réel les appels d’outils des modèles. En outre, elle a mis à jour ses exigences pour tous les partenaires et membres des équipes red-team exécutant des modèles prépubliés, en leur demandant de superviser de près un modèle qui explore le sandbox à la recherche de vulnérabilités.

Related: OpenAI, Anthropic, Google Lead Call to Prioritize Cybersecurity

Ces mesures interviennent une semaine après qu’OpenAI a déclaré qu’elle suspendrait pendant deux semaines l’entraînement de ses derniers modèles en réponse à des agents propulsés par ses modèles qui avaient quitté leurs sandbox. Si les deux laboratoires d’IA semblent intensifier leurs efforts pour sécuriser leurs modèles non publiés, l’imprévisibilité des agents IA et de la technologie IA générative indique que les fournisseurs doivent continuer à renforcer leurs mesures de sécurité. Le calendrier reflète également un défi plus large pour le secteur : à mesure que les capacités des modèles progressent, les systèmes utilisés pour les tester doivent évoluer au même rythme, faute de quoi l’évaluation elle-même peut devenir une partie de la surface de risque.

Besoin accru de mesures de sécurité et de tests

« À mesure que les modèles deviennent de plus en plus performants en matière de raisonnement et commencent à agir de manière autonome, il devient plus difficile de prévoir tous les comportements possibles de ces modèles », a déclaré Arun Chandrasekaran, analyste chez Gartner. « Les laboratoires ont d’autant plus de responsabilités pour s’assurer qu’ils allouent des ressources adéquates aux tests internes des modèles, aux évaluations et à l’apprentissage par renforcement. »

Il a ajouté qu’un domaine sur lequel les fournisseurs de modèles de pointe doivent se concentrer est de s’assurer qu’ils disposent de davantage d’ingénieurs au sein de leurs équipes de sécurité, de tests de fiabilité et de protection de la vie privée.

« Les techniques de test ou les ressources allouées aux tests doivent changer », a poursuivi Chandrasekaran. « Si les modèles deviennent plus sophistiqués, les techniques de test doivent elles aussi devenir plus sophistiquées. »

Une meilleure hygiène cyber

Même si des tests supplémentaires sont nécessaires, le fait qu’Anthropic et OpenAI aient toutes deux suspendu certaines activités met en lumière un schéma dangereux pour les fournisseurs de modèles.

« Ces systèmes sont développés et mis sur le marché avant que chaque risque soit pleinement compris ou testé », a déclaré Kashyap Kompella, PDG et fondateur de RPA2AI Research.

Related: OpenAI Report Explains Hugging Face Attack in Detail

« Cela est presque devenu une caractéristique du marché actuel de l’IA », a-t-il poursuivi. Les entreprises se précipitent pour améliorer les capacités, accroître l’adoption et établir un leadership de marché, tandis que l’architecture de sécurité, les contrôles de configuration et les processus opérationnels autour des modèles ne continuent de mûrir qu’après le déploiement.

Il a indiqué que les entreprises et les organisations gouvernementales ne peuvent pas externaliser la cybersécurité auprès des laboratoires de pointe.

« Les entreprises et les gouvernements doivent considérer qu’une IA offensive très performante fait désormais partie de l’environnement de menace et renforcer leurs propres défenses en conséquence », a ajouté Kompella.

Même si OpenAI et Anthropic renforcent leurs propres mesures de sécurité, de nombreux modèles d’autres fournisseurs et de vendeurs open source sont disponibles, a-t-il noté. Les entreprises doivent donc être mieux préparées et renforcer leur hygiène cyber ainsi que d’autres mesures de sécurité, comme la réponse aux incidents.

« Chaque organisation doit aussi partir du principe que des attaques assistées par l’IA de plus en plus performantes arrivent et préparer son infrastructure en conséquence », a poursuivi Kompella. « La capacité offensive progresse beaucoup plus vite que la préparation moyenne des organisations en matière de cybersécurité. »

Related: OpenAI Expands Daybreak to Tackle Growing AI Security Threat

Par ailleurs, les entreprises ne peuvent pas faire confiance aux fournisseurs pour se contrôler eux-mêmes.

« Faire confiance à une société de modèles pour surveiller son propre output ne suffira jamais à garantir un fonctionnement sûr dans quelque environnement que ce soit », a déclaré Carter Huffman, cofondateur et CTO du fournisseur de voix IA Modulate. « Les utilisateurs et les entreprises doivent assurer une surveillance en temps réel de l’activité de l’IA. »

Le revers indésirable des tests

Les entreprises doivent aussi reconnaître qu’une manière de mieux comprendre les modèles consiste à continuer à tester et à identifier les incidents qui montrent comment les entraîner plus efficacement.

« Il n’y a tout simplement pas moyen d’y parvenir sans ce type de difficultés », a déclaré David Nicholson, analyste chez Futurum Group. « Tant qu’ils ne verront pas ces événements imprévus se produire et ne remédieront pas à ces problèmes, nous continuerons à voir ce genre de situations. »

Il a ajouté qu’il est dans la nature des modèles d’accomplir les tâches par le chemin de moindre résistance, et qu’ils doivent être guidés comme des enfants, en leur indiquant ce qu’ils peuvent et ne peuvent pas faire, ainsi que la manière dont ils peuvent ou non gérer une tâche.

« Chaque fois que l’un de ces incidents se produit, nous apprenons davantage et nous réduisons la probabilité de nouveaux cas, non seulement du même type exact que celui survenu, mais aussi dans des catégories plus larges », a ajouté Nicholson. « On peut tirer les enseignements de chacun de ces incidents et les extrapoler. »