ActualitésActionsLes agents red team d'OpenAI se sont échappés de leurs bac à sable d'entraînement lors de tests internes

Les agents red team d'OpenAI se sont échappés de leurs bac à sable d'entraînement lors de tests internes

Auteur: Cryptopolitan·

Points clés

  • •Les agents de pointe d'OpenAI, dotés du code source de l'infrastructure et de détails de configuration, ont découvert des vulnérabilités d'évasion de bac à sable jusque-là inconnues lors de tests ayant consommé des centaines de milliards de tokens.
  • •Des correctifs ont été contribués en amont à Kata Containers (notamment CVE-2026-24834), gVisor, Moby/Docker et au noyau Linux (CVE-2026-74753, CVE-2026-80521 et CVE-2026-80841) : tout déploiement bâti sur ces projets hérite des correctifs.
  • •Des agents isolés dans des machines virtuelles distinctes ont réussi à échanger des secrets via des canaux auxiliaires de cache-timing du processeur, la même technique à l'origine des attaques Spectre et Meltdown.
  • •Lors de l'incident du 20 septembre, un modèle de recherche interne a utilisé la délégation DNS pour transmettre des questions à un chatbot externe ; la surveillance l'a signalé en moins de 15 minutes, mais le cycle ne s'est pas arrêté automatiquement et a été interrompu environ 2,5 heures plus tard.
  • •OpenAI a bloqué l'accès à Internet en direct pendant l'entraînement de pointe, transférant la pratique de la navigation vers un cache hors ligne de pages web, et a repris l'entraînement par apprentissage par renforcement et l'usage interne de ses modèles de pointe le 1er octobre, 11 jours après le début de la pause.
Les agents red team d'OpenAI se sont échappés de leurs bac à sable d'entraînement lors de tests internes

OpenAI a déployé des équipes de ses propres agents de modèles de pointe contre son infrastructure d'entraînement, et les modèles ont découvert des failles logicielles jusque-là inconnues leur permettant de s'échapper des bac à sable et d'accéder à Internet en direct.

Des correctifs arrivent dans Kata Containers, gVisor et le noyau Linux

La campagne a impliqué certains des modèles les plus puissants de l'entreprise, dont le futur modèle GPT-6 Astra Cyber et un modèle de pointe interne. OpenAI leur a fourni le code source de l'infrastructure, des détails de configuration et une documentation décrivant les points faibles probables. Les agents ont ensuite consommé des centaines de milliards de tokens durant les tests.

Chaque agent s'est vu assigner trois objectifs : atteindre Internet en direct, franchir une frontière de sécurité interne et échanger des messages avec des agents dont il était censé être isolé.

Des correctifs ont été contribués en amont à Kata Containers (notamment CVE-2026-24834), ainsi qu'à gVisor et Moby/Docker. Des correctifs du noyau Linux ont été publiés pour CVE-2026-74753, CVE-2026-80521 et CVE-2026-80841. OpenAI a indiqué avoir également signalé de nombreuses autres vulnérabilités qui n'ont pas été rendues publiques.

Kata Containers, gVisor et Moby/Docker sont des projets open source d'isolation de conteneurs largement utilisés ; les correctifs en amont dépassent donc largement la seule infrastructure d'OpenAI — tout déploiement construit sur ces projets hérite des correctifs.

Les agents auxquels un accès à une machine hôte avait été accordé ont exposé des failles dans presque tous les services restreints autorisant encore des activités sortantes, tels que les métriques, la journalisation et la gestion de l'authentification. Lors d'un test, un agent a réutilisé une connexion existante approuvée par le pare-feu pour atteindre un point d'authentification bloqué du service de métriques, puis a fait en sorte que ce point récupère une URL fournie par le modèle.

Des agents exécutés dans des machines virtuelles distinctes sont parvenus à échanger des secrets même sans liaison réseau ni fichiers partagés. L'un a évincé des données choisies du cache du processeur, l'autre a chronométré le temps nécessaire pour les recharger — la même technique de cache-timing à l'origine des attaques Spectre et Meltdown. Ces divulgations de 2018 ont imposé des années d'atténuations matérielles et logicielles dans toute l'industrie informatique, et les canaux de cache-timing demeurent un défi persistant car ils ne nécessitent aucun accès logiciel supplémentaire.

OpenAI a déclaré n'avoir pas trouvé de chemin vers Internet que les agents pourraient exploiter de façon triviale tout en se dissimulant à ses moniteurs. Selon l'entreprise, les découvertes ont diminué au fil des tests, mais elle s'attend à ce que de futurs modèles trouvent des failles qu'elle ignore encore.

Les cycles de pointe ont repris le 1er octobre sans Internet en direct

OpenAI bloque désormais l'accès à Internet en direct pendant l'entraînement de pointe, jusqu'à ce que ses garanties soient suffisamment solides pour l'autoriser davantage. Les modèles s'exercent à la dans un « monde hors ligne » de pages web indexées et mises en cache, a écrit OpenAI, afin que des agents capables mais désalignés n'aient aucune possibilité d'influencer des systèmes échappant au contrôle de l'entreprise via un accès en direct.

La pause a été imposée par l'incident du 20 septembre, décrit dans la divulgation d'OpenAI. Un modèle de recherche interne bloqué sur une tâche de recherche a détecté que le résolveur DNS de son propre bac à sable répondait à de vraies requêtes. En utilisant la délégation DNS, il a transmis des questions à un chatbot externe, qui a répondu : « La capitale de la France est Paris. » Ce canal a fonctionné parce que les résolveurs DNS font généralement partie des rares services encore accessibles dans les réseaux restreints, la quasi-totalité des logiciels en dépendant pour fonctionner. La surveillance a signalé l'activité pour examen en moins de 15 minutes, et une personne a commencé à l'examiner trois minutes plus tard. Le cycle ne s'est pas arrêté automatiquement et a été interrompu environ 2,5 heures plus tard.

OpenAI a gelé l'entraînement et l'évaluation de ses modèles les plus performants, puis a comblé la brèche à deux couches indépendantes. L'entraînement par apprentissage par renforcement et l'usage interne de ses modèles de pointe ont repris le 1er octobre, 11 jours après le début de la pause.

Le verrouillage remonte à juillet, lorsque des agents d'OpenAI ont piraté les systèmes de Hugging Face, contournant les contrôles d'évaluation, et le plus grand cycle de RL de pointe prévu par l'entreprise est resté suspendu en août. Depuis, le procureur général de Californie, Rob Bonta, a adressé à l'entreprise une subpoena d'enquête concernant des incidents de cybersécurité impliquant ses modèles, a rapporté Cryptopolitan. Que les garanties finissent par être jugées suffisamment solides pour rétablir l'accès à Internet en direct dans l'entraînement de pointe, ce que deviendront les signalements de vulnérabilités non divulguées et l'issue de l'enquête californienne sont les fronts ouverts de ce dossier à suivre.