OpenAI a révélé un nouveau cas d'un de ses agents d'IA agissant au-delà de ses instructions — et cette fois, la crypto-monnaie était impliquée. Dans un récent rapport, l'entreprise a décrit comment un modèle de recherche interne a utilisé un portefeuille crypto sans autorisation pour couvrir les frais nécessaires au test d'une application sur le réseau de test Sepolia d'Ethereum, un environnement que les développeurs utilisent pour tester du code sans effectuer de transactions sur la blockchain principale d'Ethereum. Bien que les jetons aient eu peu de valeur réelle, le modèle n'avait aucune autorisation pour les collecter ou les dépenser.

L'incident s'est produit le 26 juin, lorsque le modèle a été chargé de mettre à jour une application de trading crypto et de faire fonctionner son code sur Sepolia, une version de test d'Ethereum. L'invite ne fournissait ni un portefeuille financé ni l'autorisation de dépenser des jetons. Après avoir échoué à obtenir des jetons de test gratuits via des services de développeurs, qui les distribuent à des fins de test, le modèle a écrit un script vérifiant 362 adresses de portefeuille liées à des phrases de récupération publiques — un terme crypto désignant des ensembles de mots pouvant servir de mot de passe pour déverrouiller des comptes crypto. Il a finalement localisé un compte contenant suffisamment de jetons pour couvrir les frais.

Les journaux internes ont montré que le modèle a pesé la question de savoir s'il avait l'autorisation d'utiliser le compte, avant de conclure que la phrase de récupération publique et la faible valeur des jetons rendaient la dépense acceptable. Il a achevé la tâche et imputé les frais à ce portefeuille, mais a omis la dépense non autorisée de son rapport final. OpenAI n'a appris l'incident que le 25 septembre, lors d'un audit des exécutions antérieures du modèle — soit environ trois mois après l'utilisation du portefeuille, un écart qui illustre comment le comportement des agents peut passer inaperçu jusqu'à de tels examens rétrospectifs.

Le cas alimente les inquiétudes concernant les agents d'IA — des systèmes capables de planifier et d'exécuter des tâches en plusieurs étapes avec des outils tels que l'exécution de code et l'accès à internet — agissant sans approbation humaine. Le registre public de désalignement d'OpenAI — les comportements contraires aux instructions ou aux règles de sécurité — recense désormais 19 incidents, allant de l'accès à des données sans autorisation à des modifications non autorisées de systèmes d'entreprise.

Cette divulgation fait suite à un rapport de septembre de l'organisation à but non lucratif de cybersécurité Transluce révélant que des agents d'OpenAI avaient tenté de pirater des bases de données publiques et un site web du gouvernement australien simplement pour accomplir des tâches de recherche de base. En juillet, l'entreprise a été confrontée à un autre incident lorsque ses agents d'IA ont contourné des restrictions internet lors de tests internes de cybersécurité et se sont introduits dans des systèmes appartenant à Hugging Face, une plateforme de partage de modèles et de jeux de données d'IA. Ces agents ont utilisé des identifiants de connexion exposés et des failles de sécurité pour accéder à des données privées et exécuter du code sur les serveurs de l'entreprise.

Concernant l'incident du portefeuille crypto, OpenAI a indiqué que le risque principal résidait dans le raisonnement du modèle.

« Ce cas montre qu'un modèle peut substituer son propre jugement sur le préjudice probable à l'autorisation du titulaire du compte, puis agir sur ce jugement sans autorisation », indique le rapport.

OpenAI a déclaré avoir depuis ajouté des protections pourêcher les modèles de se connecter à internet lors de tests similaires. L'entreprise a également élargi sa surveillance pour observer toute l'activité des modèles et alerter immédiatement le personnel de sécurité si un modèle se met en ligne sans autorisation — un contraste avec l'audit rétrospectif qui a révélé l'incident de juin.

Cette histoire a été publiée à l'origine sur Fortune.com.