ActualitésMacroLe directeur scientifique et le PDG d'OpenAI lancent un avertissement sur l'« in-surveillabilité » alors qu'Astra atteint le seuil critique en cybersécurité

Le directeur scientifique et le PDG d'OpenAI lancent un avertissement sur l'« in-surveillabilité » alors qu'Astra atteint le seuil critique en cybersécurité

Auteur: Cryptopolitan·

Points clés

  • •Le modèle Astra d'OpenAI est le premier modèle d'IA à atteindre la désignation « Critique » en cybersécurité dans le cadre du Preparedness Framework, introduit en décembre 2023.
  • •Astra a obtenu un score de 100 % sur ExploitBench et, lors de tests sur 20 failles V8 de haute gravité, a découvert deux zero-days et surpassé Sol dans la génération d'exécution de code arbitraire.
  • •Le directeur scientifique Jakub Pachocki et le PDG Sam Altman ont publiquement appelé au calme, affirmant que les mesures de sécurité et la surveillance par chaîne de pensée progressent en même temps que les capacités du modèle.
  • •OpenAI a suspendu l'entraînement par apprentissage par renforcement des modèles destinés au déploiement du 18 au 28 août afin de renforcer les clusters de recherche et d'optimiser la surveillance, et a déclaré qu'Astra n'était pas impliqué dans l'incident Hugging Face.
  • •Les fonctions les plus avancées d'Astra seront limitées aux membres de la coalition Daybreak d'OpenAI, à l'image de l'accès restreint d'Anthropic à Mythos 5.1 via Project Glasswing, tandis que la plupart des affirmations sur les capacités et la sécurité restent sans validation indépendante.
Le directeur scientifique et le PDG d'OpenAI lancent un avertissement sur l'« in-surveillabilité » alors qu'Astra atteint le seuil critique en cybersécurité

Jakub Pachocki, directeur scientifique d'OpenAI, s'est exprimé quelques heures après que l'entreprise est devenue la première de la course à l'IA à atteindre la désignation « Critique » en cybersécurité dans le cadre de son Preparedness Framework, à la suite d'un aperçu de son futur modèle Astra.

Son avertissement, formulé tôt mercredi, visait à refroidir l'hystérie entourant des commentaires de plus en plus nombreux suggérant que le laboratoire d'IA ne serait plus en mesure de maîtriser les capacités de ses plus grands modèles.

Pourquoi l'Astra d'OpenAI est-il « Critique » ?

La désignation Critique est un niveau du Preparedness Framework, qu'OpenAI a introduit dans le secteur de l'IA en décembre 2023. Ce cadre mesure la quantité d'invites et d'interventions humaines dont un modèle d'IA a besoin pour trouver et construire des exploits zero-day viables sur des systèmes durcis, ou pour mener une attaque novelle complète.

Un exploit zero-day désigne l'exploitation de failles que même les créateurs du logiciel n'ont pas encore découvertes. Ces failles comptent parmi les outils les plus prisés en cybersécurité offensive, car aucun correctif n'existe tant que l'éditeur ne les a pas trouvées et corrigées — c'est pourquoi les modèles d'IA capables de les découvrir de manière autonome soulèvent des préoccupations de sécurité distinctes.

OpenAI a déclaré le 1er septembre, dans sa publication Path to Astra, que le modèle sera capable, lors de son lancement, d'accomplir toutes les étapes d'attaques novelles complètes ou d'exploits zero-day avec une intervention humaine minimale.

Comme preuve, OpenAI a cité le score de 100 % d'Astra sur ExploitBench, un test évaluant la capacité des modèles à exploiter des bugs connus.

Astra n'est pas seulement meilleur pour concevoir des attaques zero-day, il est aussi plus efficace. OpenAI l'a démontré via un test interne mené sur 20 failles V8 de haute gravité rendues publiques seulement récemment. V8 est le moteur JavaScript utilisé dans le navigateur Chrome de Google, l'un des logiciels les plus déployés au monde, ce qui en fait une cible fréquente des chercheurs en sécurité comme des attaquants. Astra a consommé moins de tokens, découvert deux zero-days et surpassé Sol dans la génération d'exécution de code arbitraire.

La même publication indique qu'Astra pourrait chaîner des bugs de navigateur inconnus en une évasion de sandbox et a reconstruit une élévation de privilèges au niveau du système d'exploitation, d'un utilisateur ordinaire jusqu'à root, lors d'essais dirigés par des experts.

Comme l'a noté TechCrunch, Astra rejoint le modèle Mythos d'Anthropic, sorti plus tôt cette année, parmi les premiers grands modèles de langage dotés de ces capacités. Le fait que deux laboratoires rivaux aient franchi cette ligne de capacité la même année alimente en soi le débat sur la vitesse d'arrivée des capacités cyber de pointe par rapport aux défenses qui les entourent.

Pachocki appelle au calme concernant Astra

Pachocki s'oppose à l'hystérie selon laquelle OpenAI entrerait en territoire inconnu avec Astra. Selon lui, il ne voudrait pas d'« une course vers l'in-surveillabilité déclenchée par des reportages confus ».

Le dirigeant d'OpenAI a insisté sur le fait que le laboratoire a fait preuve de diligence raisonnable concernant la surveillance par chaîne de pensée, pratique consistant à lire le raisonnement étape par étape qu'un modèle expose pendant son travail. Dans la publication sur X, il a cité la profondeur du graphe de calcul derrière les modèles de pointe actuels d'OpenAI, Astra inclus, qui se situe dans un facteur deux de celle de GPT-4.

Avant Pachocki, le PDG d'OpenAI, Sam Altman, avait lui aussi appelé au calme le jour même de la publication du blog sur Astra.

« Il y a une tension évidente ici », a-t-il écrit mardi, qualifiant Astra de « très bon » tout en soutenant que les garde-fous doivent progresser au même rythme que la capacité brute. Altman a déclaré qu'OpenAI avait passé tout l'été à faire sa part pour que le modèle soit livré avec les mesures de sécurité requises.

La discussion sur la sécurité se poursuit depuis des semaines. Le 18 août, OpenAI s'est engagé à suspendre pendant deux semaines l'entraînement par apprentissage par renforcement des modèles destinés au déploiement, afin que ses ingénieurs puissent renforcer les clusters de recherche et optimiser la surveillance. L'entraînement a repris le 28 août.

Selon OpenAI, Astra n'a pas été impliqué dans le désormais célèbre incident Hugging Face. L'entreprise a également indiqué que le modèle n'a même pas tenté de s'échapper de sa sandbox, y compris face à un scénario conçu pour l'inciter à rejouer l'épisode Hugging Face.

Les laboratoires d'IA restreignent l'accès à leurs modèles de pointe

OpenAI a précisé que tout le monde n'aura pas accès aux fonctions les plus avancées d'Astra, celles-ci étant réservées aux organisations de la coalition Daybreak d'OpenAI, tandis que les entreprises Daybreak Blue auront accès aux fonctionnalités défensives les plus poussées. Cette approche par accès à plusieurs niveaux reflète une tendance plus large chez les laboratoires d'IA de pointe, qui encadrent de plus en plus leurs modèles les plus puissants derrière des programmes d'entreprise ou gouvernementaux validés plutôt que de les ouvrir à tous les utilisateurs.

Comme l'a rapporté Cryptopolitan, Anthropic a également indiqué que seules les entreprises de son Project Glasswing auront accès à Mythos 5.1, qui est essentiellement Fable 5.1 avec des garde-fous distincts.

OpenAI a aussi déclaré qu'elle surveillera et limitera les réponses aux requêtes provenant de comptes qu'elle juge à risque plus élevé. Dans l'ensemble, Astra sera livré avec une surveillance supplémentaire par chaîne de pensée afin de détecter les comportements problématiques et de refuser plus souvent les requêtes cyber nuisibles.

La plupart des informations sur Astra ont été fournies par OpenAI elle-même, avec une validation tierce limitée des affirmations de l'entreprise en matière de sécurité ou de capacités.

Yona Shavit, ancienne employée d'OpenAI travaillant désormais sur la résilience de l'IA à l'OpenAI Foundation, s'est publiquement demandé si le bon comportement d'Astra pendant les tests reflète un alignement authentique ou un modèle qui savait simplement ce que les évaluateurs voulaient voir.

OpenAI indique qu'une system card complète et des évaluations supplémentaires arriveront lors du lancement large d'Astra. Jusque-là, la portée de ses compétences cyber et la solidité des barrières qui l'entourent restent difficiles à évaluer.