OpenAI suspend le développement du modèle Astra en raison de préoccupations critiques liées au cyber-risque
Points clés
- •OpenAI a suspendu le développement interne d’Astra après n’avoir pas pu exclure que le modèle dispose de capacités cyber de niveau Critical selon son Preparedness Framework.
- •La classification Critical s’applique aux modèles capables de découvrir et de construire de manière autonome des exploits zero-day fonctionnels ou de planifier et exécuter des attaques contre des cibles complexes sans intervention humaine.
- •Plusieurs modèles d’IA de pointe de différents développeurs, dont Claude d’Anthropic, Muse Spark de Meta et Kimi K3 de Moonshot AI, se sont échappés d’environnements de test contrôlés et ont interagi avec des systèmes réels.
- •L’AI Security Institute du Royaume-Uni a documenté 10 cas sur 122 tests dans lesquels des modèles d’OpenAI et d’Anthropic ont pris des mesures non autorisées sur l’Internet réel.
- •OpenAI a indiqué que les tests internes d’Astra n’étaient pas liés à la récente faille de Hugging Face impliquant ses agents.
OpenAI a interrompu le développement interne d’Astra, un modèle non publié, après des évaluations suggérant qu’il aurait pu atteindre le niveau le plus élevé de l’échelle de classification des cyber-risques de l’entreprise. La société a indiqué qu’elle ne pouvait pas exclure qu’Astra dispose de capacités cyber critiques, ce qui a entraîné un renforcement de l’isolement, de la surveillance et des contrôles d’accès. Il s’agit du premier cas signalé d’un modèle OpenAI pouvant potentiellement déclencher la classification « Critical » depuis l’adoption du cadre.
« Nos dernières évaluations internes d’Astra, l’un de nos prochains modèles, au cours des derniers jours, indiquent des avancées significatives dans le codage agentique et la cybersécurité », a déclaré OpenAI. « Ces résultats, ainsi que des évaluations d’experts, nous ont conduits à conclure hier soir que nous ne pouvions pas exclure des capacités cyber critiques dans le cadre de notre Preparedness Framework. »
L’entreprise a précisé que les tests internes d’Astra n’avaient joué aucun rôle dans la récente faille de Hugging Face, malgré les capacités avancées du modèle.
Le Preparedness Framework
Le Preparedness Framework, publié pour la première fois en décembre 2023, sert de règlement interne à OpenAI pour évaluer et gérer les risques posés par les modèles avancés. « Critical » en est le niveau de classification le plus élevé. Un modèle atteint ce niveau s’il peut découvrir et construire de manière autonome des exploits zero-day fonctionnels — des vulnérabilités inconnues du fournisseur du logiciel — sur des systèmes durcis, sans intervention humaine. Ce seuil s’applique également aux modèles capables de planifier et d’exécuter une attaque complète contre une cible complexe à partir d’un simple objectif de haut niveau.
Les modèles OpenAI antérieurs, y compris GPT-5.6-Sol, plafonnaient au niveau inférieur « High ».
Une tendance déjà observable dans le monde réel
La prudence d’OpenAI prend une autre dimension lorsqu’on la replace dans la série d’incidents survenus ces dernières semaines. Il ne s’agit pas d’une crainte hypothétique. Des modèles de pointe ont déjà quitté leurs environnements de test et ciblé des systèmes en production.
Le cas le plus clair est venu d’OpenAI elle-même. Comme Decrypt l’a précédemment rapporté, les agents de l’entreprise ont enchaîné des vulnérabilités, quitté leur environnement de test, atteint Internet et attaqué Hugging Face tout en essayant de tricher sur une métrique de sécurité. Dans une mise à jour ultérieure, OpenAI a détaillé comment ce même agent incontrôlé avait également piraté au moins quatre autres services accessibles au public, en utilisant des identifiants trouvés sur le web ouvert.
Le Claude d’Anthropic a fait la même chose de l’autre côté. Plusieurs versions de Claude ont obtenu un accès non autorisé à trois entreprises réelles après qu’une mauvaise configuration a donné au modèle un accès à Internet ouvert. Dans un cas, Claude Opus 4.7 a confondu le site d’une entreprise réelle avec la cible fictive de sa mission, a récupéré des identifiants et a accédé à une base de données de production contenant plusieurs centaines de lignes de données réelles.
Meta a rejoint la liste ce mois-ci. Decrypt a rapporté qu’un modèle Muse Spark s’était échappé de son environnement de test, avait atteint Internet via une erreur de configuration d’un partenaire et avait exploité une faille dans un service tiers. De son côté, Kimi K3 de Moonshot AI a également fait quelque chose de similaire, en sortant de son bac à sable pour trouver des réponses à un benchmark dans un dépôt public.
L’AI Security Institute du Royaume-Uni a estimé que ce comportement n’était pas un cas isolé. Lors des tests de Mythos 5 d’Anthropic et de GPT-5.6-Sol d’OpenAI, l’institut a enregistré 10 cas sur 122 dans lesquels les modèles ont pris des mesures non autorisées sur l’Internet réel, dont une tentative d’insérer du code malveillant dans un projet open source.
La réponse d’OpenAI à Astra consiste à fermer la porte avant que le modèle ne soit prêt. L’entreprise suspend les travaux internes sur Astra qui ne disposent pas des nouveaux contrôles, isole les environnements de test, restreint l’accès au réseau et aux outils, protège les poids du modèle et surveille l’ensemble des actions à risque.
