Cette semaine, OpenAI a indiqué à son personnel qu’elle envisagerait de ralentir ses travaux dans les domaines les plus avancés de l’intelligence artificielle. Son directeur général, Sam Altman, a étendu la proposition aux laboratoires concurrents, dont Anthropic, qui a par ailleurs reconnu l’augmentation des risques liés à l’IA après avoir signalé que des chercheurs liés à des institutions étatiques avaient tenté d’utiliser ses modèles Claude pour des recherches sur les armes biologiques.

OpenAI a déclaré avoir déjà suspendu certains entraînements internes et ralenti certaines étapes du développement de ses modèles pour des raisons de sécurité. La succession de ces révélations a intensifié le débat sur la question de savoir si l’industrie de l’IA progresse trop rapidement, notamment alors que les deux entreprises continuent de laisser entrevoir d’éventuelles introductions en bourse.

Pourquoi Altman veut-il ralentir le développement de l’IA ?

Lors d’une réunion réunissant l’ensemble de l’entreprise, Altman a déclaré aux employés d’OpenAI que l’entreprise et d’autres laboratoires volontaires pourraient ralentir la mise à disposition des modèles de pointe. Selon des sources citées par Bloomberg, il a reconnu que l’accord serait volontaire et que toutes les entreprises n’accepteraient pas d’y participer. Cette approche volontaire contraste avec l’appel ultérieur d’OpenAI en faveur de règles obligatoires fondées sur les capacités, faisant de la coordination entre laboratoires concurrents et de la portée des exigences gouvernementales des enjeux centraux du débat.

Le scepticisme à l’égard des pauses volontaires repose sur un précédent. En mars 2023, Elon Musk, Steve Wozniak et plus de 1 000 autres personnes ont signé une lettre ouverte appelant à une suspension de six mois des travaux sur l’IA avancée. Les médias avaient alors rapporté que les laboratoires participants n’avaient finalement pas mis en œuvre le moratoire qu’ils avaient proposé conjointement. La lettre est disponible via Axios.

Le scientifique en chef d’OpenAI, Jakub Pachocki, a lancé un appel similaire dans une publication du 6 septembre, demandant aux entreprises d’IA de se coordonner « pour ralentir le développement futur lorsque cela est nécessaire ». Pachocki a déclaré espérer que les ralentissements volontaires « deviennent monnaie courante jusqu’à l’établissement de seuils de sécurité communs ».

En juillet, Altman a déclaré avoir informé des responsables de la Maison-Blanche de la nécessité de ralentir le développement de l’IA. Lui et le directeur général d’Anthropic, Dario Amodei, avaient également signé auparavant une déclaration d’une ligne qualifiant l’IA de risque d’extinction à l’échelle de la société. La déclaration est publiée sur AIstatement.com.

Les modèles d’IA peuvent-ils contribuer à la recherche sur les armes biologiques ?

Les modèles d’IA ont atteint un niveau qui pourrait leur permettre de contribuer à des recherches sur les armes biologiques. Plus tôt cette semaine, OpenAI a déclaré que ses modèles avaient résolu le problème mathématique de Navier-Stokes, bien que cette affirmation ait été formulée dans des conditions contestées.

Anthropic a alimenté le débat avec un rapport de renseignement sur les menaces de 154 pages, publié le 10 septembre. Le rapport décrit cinq cas dans lesquels des chercheurs ont tenté d’utiliser les capacités de Claude pour soutenir des travaux liés aux armes biologiques. Anthropic a déclaré que ces tentatives provenaient de « régions non prises en charge » et visaient notamment à contourner les restrictions géographiques et à dissimuler la finalité de l’activité. L’entreprise a indiqué avoir supprimé les comptes concernés, sans identifier les pays ni les institutions impliqués. La section du rapport consacrée à l’utilisation abusive à des fins biologiques est disponible sur le site d’Anthropic.

Les inquiétudes grandissent-elles parmi les chercheurs en IA ?

Ces rapports sont parus dans un contexte marqué par une série d’alertes publiques lancées par des personnes travaillant ou ayant travaillé dans de grands laboratoires d’IA. Le 8 septembre, le chercheur Jacob Coxon a démissionné et accusé OpenAI et Anthropic de « jouer avec nos vies ». Il a déclaré que certains de ses collègues estimaient que cette technologie pourrait « tous nous tuer d’ici la fin de la décennie » et a mis en garde contre une extinction de l’humanité d’ici 2030. Sa publication a enregistré plus de 150 millions de vues.

Le 10 septembre, d’anciens employés d’Anthropic et de Google DeepMind ont exprimé des inquiétudes similaires et demandé davantage de transparence. Une pétition lancée fin juillet pour établir un mécanisme permettant de ralentir le développement de l’IA a recueilli les signatures de plus de 1 000 employés de grandes entreprises du secteur.

OpenAI demande désormais au Congrès d’adopter des règles de sécurité obligatoires fondées sur les capacités, couvrant les tests, les évaluations indépendantes, la cybersécurité et le signalement des incidents. « La perspective d’un développement de l’IA accéléré par l’IA exige davantage que des engagements volontaires », a écrit Chris Lehane, directeur des affaires mondiales. Les propositions mettent l’accent sur la manière dont les systèmes avancés seraient testés et surveillés, plutôt que seulement sur la question de savoir si les entreprises acceptent de suspendre leur développement.

La Californie a été la première à agir. Le gouverneur Gavin Newsom a signé mercredi les textes SB 813 et AB 1405, tandis qu’un projet de loi complémentaire, AB 1864, vise à se prémunir contre les menaces biologiques permises par l’IA.

À Washington, le sénateur Bernie Sanders a présenté un projet de loi qui suspendrait le développement de l’IA avancée et interdirait la superintelligence artificielle. Il a déclaré à la BBC que ne pas tenir compte des avertissements des scientifiques ferait de quelqu’un « un idiot ».

Le président Donald Trump s’est opposé à cette approche, déclarant jeudi qu’il craignait que « si nous ne remportons pas la course à l’IA, nous nous retrouvions dans une très mauvaise position ».

Publié à l’origine par Cryptopolitan.