Une question difficile se cache derrière les derniers avertissements des personnes qui construisent l'intelligence artificielle : lorsque vous pensez que votre entreprise crée peut-être un danger pour la société, avez-vous le devoir de rester pour la changer, ou de partir pour donner l'alerte ?

La question s'est intensifiée la semaine dernière lorsque l'ancien chercheur d'Anthropic et d'OpenAI Jacob Coxon a averti que les laboratoires de pointe courent vers une superintelligence auto-améliorante et « jouent avec nos vies »

L'inquiétude soulevée par Coxon concerne l'auto-amélioration récursive : le scénario dans lequel les systèmes d'IA commencent à s'améliorer plus vite que leurs créateurs ne peuvent les évaluer ou les contenir — une possibilité débattue depuis des décennies dans la recherche en IA et qui se trouve désormais au cœur des débats internes de l'industrie sur la sécurité.

Coxon est le dernier initié de l'IA à partir tout en exprimant ses inquiétudes sur la direction que prend la technologie. L'économiste Albert O. Hirschman a célèbrement décrit le choix auquel font face les personnes qui estiment qu'une institution s'égare comme « exit » (défection) ou « voice » (prise de parole) : partir, ou rester et tenter de changer les choses de l'intérieur, un cadre qu'il a introduit dans son livre de 1970 Exit, Voice, and Loyalty. Rester offre un accès et une influence ; partir apporte la liberté de parler publiquement. Le timing complique les deux voies. Plus longtemps une personne participe à un système qu'elle décrit ensuite comme dangereux, plus il devient difficile de distinguer la dissidence de principe de l'absolution rétrospective.

Les personnes qui dirigent encore les laboratoires de pointe font face à une autre version du problème. Le PDG d'Anthropic Dario Amodei a publié un essai ce week-end, affirmant les entreprises d'IA doivent ralentir l'avancement de leurs modèles les plus puissants afin que le travail de sécurité puisse suivre. Or, les limites qu'il propose dépendent d'une coordination à l'échelle de l'industrie plutôt que d'une action unilatérale d'Anthropic — une reconnaissance du fait que les préoccupations de sécurité se heurtent à la concurrence commerciale et géopolitique. Amodei connaît ce calcul défection-contre-parole de l'intérieur : il a quitté OpenAI pour co-fonder Anthropic en 2021, un laboratoire construit explicitement autour d'un développement de l'IA axé sur la sécurité.

Dans un entretien exclusif avec la rédactrice en chef de Fortune Alyson Shontell, le PDG d'OpenAI Sam Altman a de même plaidé pour un développement cadencé de l'IA et reconnu qu'une IA échappant au contrôle humain est possible. Il a également suggéré que les grandes entreprises d'IA discutent d'une action collective. Pour ceux qui dirigent les principaux laboratoires, le dilemme passe de la question de savoir s'il faut rester à celle de savoir s'il faut ralentir. Que signifie avertir que la technologie que l'on construit pourrait devenir catastrophiquement dangereuse tout en continuant de rivaliser pour la rendre plus puissante ? À un moment donné, un avertissement doit mener à une décision sur ce qu'une entreprise fera réellement de différent en raison du risque.

Altman se débat désormais publiquement avec la question de savoir où se situe ce point, qui doit fixer les limites, et si les entreprises en course pour construire l'IA la plus puissante peuvent s'entendre pour ralentir ensemble. Pour les lecteurs, la question à suivre est de savoir si ces discussions se traduiront en engagements concrets que les laboratoires concurrents respecteront réellement. Shontell le questionne sur ces sujets dans leur large conversation, disponible en vidéo ici.

Ruth Umoh — ruth.umoh@fortune.com

Cet article a été publié à l'origine sur Fortune.com.