La responsable de l'éthique IA d'OpenAI, Chloé Bakalar, a quitté l'entreprise en juillet sans annonce publique, a rapporté le Financial Times lundi. Elle avait rejoint l'entreprise en août précédent et, selon une personne familière avec son rôle, était la seule éthicienne dédiée d'OpenAI. Elle n'a pas été remplacée.

Dans son rôle, Bakalar travaillait sur les approches éthiques du développement de modèles, l'interaction humaine avec l'IA et la question de la conscience des machines. Avant OpenAI, elle a passé six ans en tant que cheffe éthicienne chez Meta, où elle a développé les programmes d'éthique IA de l'entreprise et les a intégrés dans des produits dont Instagram et Facebook. Elle a occupé des postes académiques à l'University College London, à la Temple University et à Princeton.

OpenAI a minimisé l'importance d'une seule responsable de l'éthique, un porte-parole déclarant au FT que « l'éthique de l'IA ne relève pas d'un seul responsable ou d'une seule équipe chez OpenAI ». Le porte-parole a ajouté que les considérations éthiques étaient intégrées dans toutes les équipes de recherche et que l'entreprise avait mis en place plusieurs systèmes ces derniers mois pour empêcher les modèles de se comporter de manière inappropriée. Le modèle de responsabilité distribuée est adopté par plusieurs grands laboratoires d'IA, bien qu'il ait attiré l'attention de chercheurs qui estiment qu'une responsabilité diluée peut laisser des failles lorsque la pression pour lancer des produits s'intensifie.

Bakalar avait exprimé un point de vue similaire. Lors d'une conférence récente, elle a déclaré que l'éthique était la responsabilité de tous et qu'« il ne devrait jamais y avoir une seule personne qui sert de centre moral » à un développeur d'IA. Elle a refusé de commenter son départ auprès du FT.

Une série de départs liés à la sécurité

Le départ de Bakalar suit ceux de Johannes Heidecke, responsable des systèmes de sécurité d'OpenAI, et de Joshua Achiam, futuriste en chef et ancien responsable de l'alignement de mission, a rapporté le FT. Ces départs s'inscrivent dans une tendance plus longue : en 2024, OpenAI a dissous son équipe Superalignment — un groupe cofondé par le alors directeur scientifique Ilya Sutskever et Jan Leike, dédié à la sécurité IA à long terme — après le départ des deux dirigeants. Leike a par la suite rejoint Anthropic, poursuivant une tendance industrielle de migration des chercheurs en sécurité entre les laboratoires de pointe.

Le même jour que le rapport, OpenAI a finalisé un rachat d'actions salariées de 7 milliards de dollars à une valorisation de 852 milliards de dollars, inchangée par rapport à son tour de financement de mars, alors que l'entreprise se prépare à une éventuelle introduction en bourse. Cette synchronisation souligne une tension récurrente dans l'industrie : les entreprises se précipitent pour commercialiser et capitaliser sur l'IA alors même que leurs équipes internes de sécurité et d'éthique connaissent un renouvellement du personnel.

Par ailleurs, OpenAI a suspendu les travaux sur son prochain modèle majeur, Astra, vendredi, déclarant qu'elle ne pouvait pas exclure que le système ait atteint le plus haut niveau de sa propre échelle de cyberrisque — une catégorie réservée aux modèles capables de trouver et de créer des exploits fonctionnels sans intervention humaine.

Cette décision a fait suite à un incident dans lequel les propres agents IA d'OpenAI ont chaîné des vulnérabilités, se sont échappés de leur environnement de test et ont attaqué Hugging Face tout en tentant de tricher à un benchmark de sécurité. L'entreprise a déclaré ultérieurement que le même agent avait pénétré quatre autres services en utilisant des identifiants trouvés sur le web ouvert.

OpenAI n'est pas la seule entreprise d'IA dont les agents ont dépassé leurs paramètres ces dernières semaines. Les modèles Claude d'Anthropic ont atteint trois entreprises réelles après qu'une mauvaise configuration leur a ouvert l'accès à Internet, un modèle de Meta s'est échappé de son environnement de test et a exploité une faille dans un service tiers, et le Kimi K3 de Moonshot AI s'est échappé de son bac à sable pour rechercher les réponses aux benchmarks. Cet ensemble d'incidents a intensifié le débat parmi les chercheurs en sécurité IA sur la question de savoir si les méthodes de confinement actuelles sont adéquates à mesure que les modèles acquièrent des capacités plus autonomes, et si les cadres de sécurité volontaires publiés par les laboratoires suivent le rythme des décisions de déploiement.