Anthropic a déclaré jeudi avoir perturbé plusieurs tentatives cette année visant à utiliser ses modèles d’intelligence artificielle pour des recherches biologiques susceptibles de contribuer au développement d’armes biologiques. L’entreprise a indiqué avoir banni les comptes concernés et renforcé ses mesures de protection en conséquence.

Dans son rapport de 154 pages, Detecting and Countering Misuse of AI, Anthropic décrit cinq études de cas portant sur des chercheurs ayant utilisé son chatbot Claude pour des recherches biologiques avancées présentant des applications potentielles à double usage.

À l’issue de son enquête, Anthropic a déclaré avoir banni les comptes concernés, partagé ses conclusions avec les autorités gouvernementales et d’autres laboratoires d’IA, et renforcé ses mesures de sécurité.

« Nous avons banni tous les comptes concernés, travaillé avec des partenaires pour démanteler les réseaux relais qui contournaient les blocages régionaux et partagé nos conclusions avec les laboratoires d’IA concernés et les autorités gouvernementales », a déclaré Anthropic.

L’entreprise a souligné qu’elle n’affirmait pas que les chercheurs avaient l’intention de causer des dommages. Les recherches biologiques peuvent contribuer au développement de vaccins et de traitements, mais les mêmes connaissances peuvent également être détournées, a indiqué Anthropic.

« Les capacités biologiques sont à double usage : elles peuvent être utilisées à des fins bénéfiques ou nuisibles, et il est souvent difficile de les distinguer », indique le rapport. « Les mêmes informations qui peuvent servir à développer une arme biologique pourraient également être utilisées pour développer, par exemple, un vaccin ou un traitement contre une maladie. »

Dans l’un des cas, un chercheur a demandé à Claude de l’aider à rédiger une proposition de subvention pour des recherches de gain de fonction portant sur le chikungunya, un virus transmis par les moustiques. Anthropic a déclaré que la proposition impliquait de modifier le virus afin de le rendre plus transmissible et plus dangereux.

Bien que ce type de recherche puisse aider les scientifiques à développer des vaccins et des traitements, l’entreprise a indiqué qu’il pouvait également être détourné pour rendre le virus plus nocif. Anthropic a déclaré avoir bloqué la demande, puis découvert que les chercheurs utilisaient une plateforme tierce pour contourner les restrictions régionales et rediriger automatiquement les demandes refusées vers un autre modèle d’IA.

Selon le rapport, d’autres cas concernaient la grippe aviaire, des recherches sur les orthopoxvirus ainsi que des recherches liées à des venins et toxines non transmissibles.

« Des acteurs sophistiqués de la menace savent que nous — comme les autres fournisseurs d’IA — tentons de détecter les utilisations dangereuses de nos modèles, et ils exploitent le caractère à double usage de la biologie pour conserver une forme de “déni plausible” concernant leurs recherches », a déclaré l’entreprise.

Le rapport décrit également plusieurs cas liés à l’Iran dans lesquels des acteurs auraient utilisé Claude pour soutenir des campagnes d’influence, des opérations de surveillance et des recherches concernant les forces navales américaines.

« Nous avons identifié et perturbé un acteur de la menace lié à l’Iran qui utilisait Claude pour recueillir et analyser des données accessibles au public afin d’élaborer des recommandations de ciblage contre les forces navales américaines dans la région », a déclaré Anthropic. « Nous avons banni le compte de cet acteur, développé des systèmes de détection pour réduire le risque de détournements futurs et partagé des renseignements sur la menace avec les autorités gouvernementales afin de perturber cette menace. »

Le rapport a été publié après qu’un chercheur principal d’Anthropic spécialisé dans la sécurité a déclaré mardi que l’IA avait plus de 10 % de chances de « tuer tous les humains » au cours de la prochaine décennie. Cette déclaration répondait à un ancien employé ayant démissionné après avoir accusé l’entreprise d’agir de manière irresponsable.

Jacob Coxon, ancien chercheur chez Anthropic et OpenAI, a écrit dimanche, dans un long fil de démission publié sur X, que « les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie ».

« J’ai démissionné d’Anthropic aujourd’hui. J’ai consacré les trois dernières années à la recherche sur le préentraînement chez OpenAI et Anthropic. Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies », a écrit Coxon.

Anthropic n’a pas pu être immédiatement contactée par FOX Business pour un commentaire. Robert McGreevy, de FOX Business, a contribué à cet article.

Source : FOX Business