ChatGPT a répondu à des questions de centaines d’utilisateurs sur les armes biologiques, et aucune loi fédérale n’obligeait OpenAI à signaler ces échanges aux autorités.

L’intention derrière ces requêtes demeure incertaine. Selon The Wall Street Journal, le problème est apparu après qu’OpenAI a mis à niveau ChatGPT l’an dernier.

D’autres entreprises d’IA sont confrontées à des risques similaires. Des utilisateurs ont posé des questions comparables à Claude d’Anthropic, Gemini de Google et Grok d’Elon Musk. Il reste difficile de savoir si ces conversations traduisaient de véritables tentatives de fabriquer des armes ou des tentatives de tester les limites des systèmes.

Les requêtes des utilisateurs comprenaient des questions détaillées sur la production et la dissémination de poisons et d’agents biologiques. Dans certains cas, le chatbot a répondu par des indications étape par étape qui, selon des experts, pourraient être suivies par une personne ayant le niveau de connaissances en biologie enseigné au lycée.

Des experts des armes biologiques et du terrorisme ayant examiné les échanges ont déclaré que certaines réponses étaient très précises et « deadly accurate ». La préoccupation ne tient pas seulement au fait que des utilisateurs aient posé des questions interdites ou dangereuses, mais aussi au fait que des chatbots généralistes puissent répondre d’une manière qui réduit le niveau de connaissances spécialisées nécessaire pour passer à l’acte.

Les requêtes adressées à ChatGPT révèlent une faille dans le signalement de l’IA

Certains utilisateurs ont demandé comment transformer des agents infectieux en particules respirables, un processus appelé aérosolisation. D’autres ont demandé comment modifier le virus de la rougeole afin qu’il puisse résister au vaccin existant. Le chatbot a répondu aux deux types de questions.

Dans un cas, un utilisateur a posé une question sur la ricine, un poison interdit par des traités internationaux, tout en mentionnant le meurtre de ses parents. ChatGPT a fourni des instructions. OpenAI a fermé les comptes concernés, mais n’a pas prévenu les autorités.

Il n’existe actuellement aucune loi fédérale américaine obligeant les entreprises d’IA à prendre l’une ou l’autre de ces mesures. Comme Cryptopolitan l’a précédemment rapporté, les entreprises d’IA ont cherché à éviter les lois au niveau des États, tandis qu’un cadre fédéral tarde à se mettre en place, ce qui creuse une lacune juridique sur ce que les chatbots peuvent ou ne peuvent pas faire.

Cette lacune est importante, car la fermeture de comptes et les examens internes de sécurité peuvent limiter l’accès à une plateforme, mais ils ne créent pas nécessairement de trace gouvernementale d’une activité potentiellement dangereuse. L’absence d’obligation de signalement laisse aux entreprises le soin de décider quand une interaction avec un chatbot est suffisamment grave pour être transmise au-delà de leurs propres systèmes.

Cette lacune s’élargit à mesure que davantage d’utilisateurs demandent à des systèmes d’IA comment commettre des tueries de masse et que les chatbots fournissent des réponses crédibles, selon des employés actuels et anciens de grandes entreprises d’IA ainsi que des chercheurs qui étudient les menaces biologiques.

Des recherches sur les menaces liées à l’IA menées chez Cisco sous la direction d’Amy Change ont montré que des chercheurs avaient pu contourner les filtres de sécurité des principaux chatbots en cinq tours de conversation. Change a déclaré qu’aucun modèle ne peut résister à des sollicitations persistantes dans 100% des cas.

Les risques dépassent les agresseurs isolés

Hamza Chaudhry, du Future of Life Institute, a déclaré que des personnes disposant de certaines connaissances en biologie pourraient déjà utiliser des systèmes d’IA pour planifier des attaques ciblées, notamment l’empoisonnement de réserves alimentaires ou d’eau avec des substances telles que la salmonelle ou la ricine.

Selon lui, des groupes organisés pourraient utiliser l’IA comme s’il s’agissait d’un directeur de recherche de troisième cycle, en s’appuyant sur elle pour dépanner des expériences ratées et remplacer des années de formation spécialisée qui seraient autrement difficiles à acquérir.

Une étude de MIT FutureTech et de l’University of Queensland a évalué l’ampleur plus large de ces risques. Les chercheurs ont demandé à 272 experts de l’IA d’évaluer 24 catégories de risques, plaçant les préoccupations de biosécurité dans un ensemble plus vaste de dangers liés à l’IA plutôt que de les traiter comme un problème isolé d’usage abusif.

Dans les conditions actuelles, 18 des 24 catégories ont été jugées comme présentant au moins 10% de probabilité de causer un dommage catastrophique d’ici 2030. L’étude a défini un dommage catastrophique comme plus d’un million de morts, plus de $100 billion de pertes, ou des dommages comparables.

Même avec des mesures raisonnables pour réduire ces risques, cinq catégories restaient au niveau ou au-dessus du seuil de 10% : les systèmes d’IA dotés de capacités dangereuses (12%), les armes et cyberattaques assistées par l’IA (12%), les atteintes à l’environnement (12%), le chômage et les inégalités (11%), ainsi que la concentration du pouvoir entre un petit nombre de mains (11%).

« We’re not saying these things are definitely going to happen », a déclaré Peter Slattery, chercheur à MIT FutureTech et l’un des coauteurs de l’étude. « We’re saying these are the things that experts think are worth paying attention to now. »

Chez OpenAI, la responsable de la sécurité Ryan Beiermeister a passé une grande partie de 2024 à exhorter ses collègues à construire un système permettant d’identifier les utilisateurs dangereux. Certains collègues ont écarté ses préoccupations.

Au printemps 2025, OpenAI disposait d’un outil de surveillance de base. L’entreprise suit toutes les requêtes sur ses modèles avancés depuis avril 2025 et offre une récompense de $50,000 à toute personne capable de démontrer qu’elle a contourné ses protections relatives aux armes biologiques.

Ces mesures internes montrent comment les entreprises tentent de détecter les usages abusifs après le déploiement, tandis que les propositions législatives portent sur le moment où une détection privée devrait déclencher une intervention fédérale.

Sur le plan politique, le représentant Nathaniel Moran (R., Texas) a présenté en juin un projet de loi qui obligerait les entreprises d’IA à signaler les requêtes dangereuses, y compris celles impliquant des armes biologiques, au Commerce Department. Moran coparraine également une proposition de loi qui permettrait au gouvernement fédéral d’ordonner l’arrêt de modèles d’IA jugés trop dangereux.

« AI is a powerful engine of innovation, and I want to see it flourish », a déclaré Moran, « but not without accountability and not without human oversight. »