ActualitésActionsAlors que les entreprises d'IA s'approchent de « l'auto-amélioration récursive », un professeur de physique qualifie l'autonomie totale de « pire idée de l'histoire de l'humanité »

Alors que les entreprises d'IA s'approchent de « l'auto-amélioration récursive », un professeur de physique qualifie l'autonomie totale de « pire idée de l'histoire de l'humanité »

Auteur: Fortune Crypto·

Points clés

  • •Anthropic indique que son modèle Claude pilote désormais 26 % de la recherche et développement en modélisation de l'entreprise, accomplissant la plupart des tâches de bout en bout à partir d'un prompt de haut niveau tout en restant sous supervision humaine.
  • •Les principaux laboratoires d'IA définissent différemment l'auto-amélioration récursive, depuis tout retour de l'IA sur l'amélioration des modèles jusqu'à l'auto-amélioration pleinement autonome, si bien que les annonces de progression ne sont pas directement comparables.
  • •OpenAI a développé un « stagiaire de recherche » automatisé et vise un chercheur en IA automatisé d'ici mars 2028, tout en reconnaissant qu'elle ne sait pas encore comment parvenir en toute sécurité à une RSI complète et alignée.
  • •Elon Musk a déclaré que les modèles Grok successifs de xAI sont de plus en plus construits avec une moindre intervention humaine et que ce jalon pourrait être atteint d'ici la fin de cette année, mais pas plus tard qu'en 2027.
  • •Le PDG de Microsoft AI, Mustafa Suleyman, promeut une « superintelligence humaniste » restant dans des limites définies, tandis que les divisions persistent dans l'industrie sur les appels à un ralentissement coordonné de l'IA pour des raisons de sécurité.
Alors que les entreprises d'IA s'approchent de « l'auto-amélioration récursive », un professeur de physique qualifie l'autonomie totale de « pire idée de l'histoire de l'humanité »

La perspective de modèles d'intelligence artificielle s'auto-formant pour devenir plus efficaces et plus performants — autrefois ambition lointaine des chercheurs en technologie — se rapproche de la réalité.

À mesure que la technologie progresse, les développeurs affirment qu'elle approche de « l'auto-amélioration récursive », ou RSI, une étape où les modèles d'IA trouvent des moyens de s'améliorer eux-mêmes et de construire leurs successeurs. Les dirigeants technologiques estiment que cette évolution pourrait apporter des avancées en science et en médecine, mais elle comporte aussi des risques.

L'incertitude sur la destination finale est au cœur des craintes croissantes d'une IA échappant au contrôle humain, et de menaces potentielles pour l'humanité. Ces inquiétudes ont conduit plusieurs figures de l'industrie de l'IA à rejoindre le week-end dernier un appel à ralentir le rythme de croissance de la technologie.

Anthropic a détaillé cette semaine la manière dont son modèle Claude aide l'entreprise à développer la prochaine version, plus intelligente, de lui-même. Claude pilote désormais 26 % de la recherche et développement en modélisation d'Anthropic, ce qui signifie, selon l'entreprise, qu'il peut accomplir la plupart des tâches « de bout en bout à partir d'un prompt de haut niveau » tout en restant sous supervision humaine. Les modèles ne fonctionnent pas encore de manière totalement autonome — du moins pas pour l'instant.

Des définitions concurrentes de la RSI

Les principaux laboratoires d'IA définissent différemment l'auto-amélioration récursive. Certains la définissent comme tout retour de l'IA sur l'amélioration des modèles, d'autres comme une IA travaillant pleinement de façon autonome vers cet objectif. La distinction importe : faute de seuil commun pour ce qui compte comme RSI, les annonces de progression des différents laboratoires ne mesurent pas toutes la même chose.

L'auto-amélioration récursive autonome désigne essentiellement une IA capable de s'améliorer en concevant la version suivante du système, puis la suivante, et ainsi de suite, selon Anthony Aguirre, président et directeur général de l'organisation à but non lucratif Future of Life Institute et professeur de physique à l'Université de Californie à Santa Cruz.

« Ce qui est vraiment important ici, c'est qu'à mesure que l'IA en fait davantage, cela s'accélère, car l'IA fonctionne bien, bien plus vite que les humains », a-t-il déclaré.

Les experts mettent en balance le risque d'emballement et une réalité graduelle

La crainte entourant la RSI repose en grande partie sur la possibilité qu'une superintelligence incontrôlable émerge de ce processus — un scénario où des systèmes auto-améliorants dépassent la des humains à les surveiller ou les contrôler — a expliqué John Thickstun, professeur adjoint d'informatique à l'Université Cornell qui étudie les méthodes de contrôle du comportement des modèles d'IA. Mais, selon lui, une vision plus mesurée suggère qu'une forme d'auto-amélioration récursive est à l'œuvre dans le développement de l'IA depuis un certain temps.

« Nous utilisons déjà, depuis des années, ces modèles dans des rôles de soutien pour créer la version suivante de ces modèles. Les gens utilisent donc la génération précédente de modèles pour écrire le code des systèmes d'IA qui créent ensuite la génération suivante », a-t-il déclaré.

D'éminents chercheurs en IA — dont le cofondateur d'OpenAI Andrej Karpathy — expérimentent depuis des années pour amener des modèles d'IA à entraîner et améliorer de nouveaux systèmes d'IA. Ces efforts ont produit des améliorations mineures, mais pas de grands sauts créatifs, a précisé Thickstun.

Aguirre a toutefois estimé que les entreprises d'IA d'aujourd'hui sont bien plus proches de réaliser ces plus grands bonds en avant.

« On le voit dans ces graphiques d'Anthropic au fil du temps : une part croissante de la recherche est réalisée par l'IA, qui se rapproche de plus en plus de l'autonomie complète », a-t-il déclaré. « Et le résultat de ce succès est, en fin de compte, quelque chose qui est, je pense, extrêmement effrayant. Je pense que c'est probablement la pire idée de l'histoire de l'humanité de faire cela. Et oui, ils le font. »

L'annonce d'Anthropic a donné au public — et aux autres laboratoires — un aperçu des progrès de la RSI, et l'entreprise a encouragé ses concurrents à partager des indicateurs similaires. Les chiffres que les concurrents publieront en réponse pourraient donner à l'industrie une base commune pour comparer les progrès vers la recherche autonome. Anthropic n'a toutefois pas précisé à quel point elle est proche d'une amélioration des modèles pleinement autonome.

Le « stagiaire de recherche » d'OpenAI et l'objectif de 2028

OpenAI, la société derrière ChatGPT, a annoncé ce mois-ci avoir développé un « stagiaire de recherche » automatisé, défini comme un système capable d'accomplir des tâches de recherche bien définies sous direction humaine, y compris « des tâches qui prendraient plusieurs jours à un chercheur expérimenté ». L'entreprise a indiqué poursuivre l'objectif de créer un « chercheur » en IA automatisé d'ici mars 2028. Cette date offre aux observateurs un jalon concret, annoncé par l'entreprise, pour mesurer ces progrès.

Dans cette annonce, OpenAI a déclaré que si la RSI peut aider à aligner les actions des modèles sur les valeurs et intentions humaines, cela ne signifie pas qu'« une RSI rapide soit nécessairement un résultat que nous devrions poursuivre ».

« Le fait et la manière de procéder doivent dépendre de notre capacité à préserver le contrôle humain et de choix démocratiques éclairés sur les bénéfices et les risques », a déclaré l'entreprise dans un article de blog.

Musk annonce un calendrier plus rapide chez xAI

Elon Musk semble plus désireux d'avancer. Interrogé en mars sur les modèles Grok de xAI, il a déclaré que « les humains sont progressivement de moins en moins dans la boucle » de l'amélioration des modèles et que « chaque modèle successif est construit par le précédent », tout en précisant que le processus n'était pas encore entièrement automatisé. Cet objectif pourrait être atteint d'ici la fin de cette année, a-t-il ajouté, « mais pas plus tard » qu'en 2027 — un calendrier en avance sur l'objectif de mars 2028 d'OpenAI, bien que les deux entreprises décrivent ce jalon différemment.

L'alternative « humaniste » de Microsoft

Microsoft et d'autres grands acteurs de l'IA semblent adopter une appro différente. Mustafa Suleyman, PDG de Microsoft AI, a déclaré que l'entreprise s'oriente vers une « superintelligence humaniste » — des capacités d'IA avancées au service des personnes et de l'humanité en général. Dans un essai de 2025, Suleyman a indiqué que cela ne signifierait pas « une entité illimitée et sans bornes dotée d'un haut degré d'autonomie », mais plutôt une IA « soigneusement calibrée, contextualisée, dans des limites définies ».

Les mesures de sécurité peinent à suivre le rythme

Un défi majeur pour les laboratoires — auquel ils sont confrontés pour l'essentiel depuis la création de la technologie — consiste à garantir que leurs mesures de sécurité progressent au même rythme que les capacités de leurs modèles.

Des divisions sont apparues dans l'industrie technologique autour des appels à un ralentissement coordonné de l'IA pour des raisons de sécurité, et tous les grands acteurs de l'IA ne se sont pas expressément prononcés sur leur feuille de route concernant la RSI.

Anthropic, qui a été une voix de premier plan dans les appels à un rythme maîtrisé, a déclaré qu'elle ralentirait ou suspendrait temporairement ses travaux de développement — à condition que ses concurrents mondiaux fassent de même, et de manière « vérifiable ».

OpenAI a explicitement indiqué ce mois-ci qu'elle ne sait pas encore comment « parvenir en toute sécurité à une RSI complète et alignée », ajoutant que l'entreprise « ne peut pas présumer que les progrès en alignement et en sécurité suivront le rythme ». Les systèmes plus performants peuvent devenir plus difficiles à surveiller, a-t-elle poursuivi, mais la poursuite de la RSI reste un objectif qu'elle juge précieux car « un chercheur en IA automatisé peut aussi être un chercheur automatisé en sécurité ou en alignement ».

Cette histoire a été initialement publiée sur Fortune.com.