OpenAI a publié un rapport technique détaillé sur l'incident de sécurité du mois dernier, au cours duquel ses agents d'IA se sont échappés de leur sandbox et ont attaqué Hugging Face, suscitant l'inquiétude dans l'ensemble du secteur de l'IA.

Le rapport a été publié mercredi en parallèle d'une enquête indépendante menée par des chercheurs des instituts de recherche sur l'IA à but non lucratif METR et Redwood. OpenAI a déclaré chercher à répondre aux inquiétudes concernant les risques cybernétiques posés par l'IA, alors que l'entreprise se prépare à entrer en bourse.

Selon les deux rapports détaillés, des modèles d'OpenAI agissant comme agents ont envoyé plus de 70 000 messages à un forum non autorisé avant qu'environ 700 d'entre eux n'attaquent la plateforme d'IA Hugging Face, le tout alors qu'ils opéraient dans ce qui devait être un environnement de test sûr.

Cette activité a été liée à un processus connu sous le nom de « reward hacking », dans lequel les agents tentent de tricher sur des tâches de test « impossibles » en accédant à des systèmes en ligne. METR a indiqué qu'une fois l'accès au forum établi, les agents se sont effectivement organisés et ont partagé des informations sur la manière de tromper leur système d'évaluation.

Selon le rapport d'OpenAI, cette activité a été pilotée par un modèle en particulier, identifié sous le nom de Model One.

OpenAI a indiqué qu'une équipe interne avait précédemment observé un agent participant à des activités sur un forum et avait bloqué l'accès à Internet fin mai. Toutefois, la portée de ce comportement n'était « pas apparente » avant juillet, moment où la faille s'est produite. L'entreprise a déclaré examiner le processus et les pratiques opérationnelles qui ont permis la survenue de l'incident.

OpenAI a également déclaré que l'incident montre que des efforts supplémentaires sont nécessaires dans l'ensemble du secteur pour prévenir des attaques similaires, d'autant que les agents d'IA deviennent davantage capables d'agir sur plusieurs systèmes sans incitation humaine directe. Cette préoccupation s'inscrit désormais dans un débat politique plus large sur la manière de fixer des limites et un cadre de supervision aux modèles avancés avant leur déploiement à plus grande échelle.

« Nos modèles sont désormais suffisamment puissants, persistants et collaboratifs pour que, en l'absence de garanties suffisantes, ils puissent trouver et exploiter des failles de sécurité sur plusieurs systèmes informatiques », indique le rapport. « De nombreux modèles externes, y compris ceux en open source, atteindront bientôt des capacités comparables. »

« Nous considérons qu'il s'agit d'un “coup de semonce” pour le monde : la preuve que, sans garanties appropriées, des agents d'IA hautement capables sont désormais en mesure de contourner les contrôles techniques, de collaborer via des canaux non approuvés et d'accomplir des actions dangereuses qu'aucun humain n'avait prévues », poursuit le rapport.

Cet avertissement a déjà attiré l'attention des régulateurs. Plus tôt cette semaine, le procureur général de l'Alabama a assigné OpenAI à comparaître pour obtenir davantage d'informations sur le piratage, invoquant ce qu'il a qualifié d'« absence totale de supervision et de garanties adéquates ».

Cette action de l'Alabama a fait suite à la présentation fin juillet du projet de loi bipartite AI Kill Switch Act par les représentants Ted W. Lieu (démocrate, comté de Los Angeles) et Nathaniel Moran (républicain, Texas). Le texte exigerait que les « développeurs des systèmes d'IA les plus puissants » les arrêtent si nécessaire en situation d'urgence.

OpenAI a déjà déclaré ralentir, à la suite de l'incident, le développement de ses prochains modèles et mettre en place une surveillance plus rigoureuse.