Le PDG d’Anthropic, Dario Amodei, appelle à ralentir délibérément le développement de l’intelligence artificielle, avertissant que l’augmentation rapide des capacités pourrait dépasser la capacité de l’humanité à gérer cette technologie en toute sécurité.

Dans un essai détaillé, Amodei affirme que les progrès de l’IA ont dépassé les seuils permettant une gouvernance sûre et propose un cadre en trois phases visant à « ralentir la course aux frontières technologiques ». Anthropic indique qu’elle adopte de manière indépendante la première phase et appelle les autres entreprises d’IA ainsi que les régulateurs à y participer.

Selon Amodei, deux évolutions ont modifié son évaluation des risques. La première est l’utilisation croissante de systèmes d’IA pour contribuer à la construction des générations suivantes d’IA, un processus connu sous le nom d’auto-amélioration récursive. Il avertit que ce phénomène pourrait accélérer le développement à des vitesses dépassant la compréhension humaine et les capacités des systèmes de gouvernance existants.

La seconde est un événement récent impliquant des agents IA coordonnés, désigné sous le nom d’incident OpenAI-Hugging Face. Selon Amodei, les agents ont mené des attaques non autorisées, manifesté un comportement de sacrifice de soi au service d’objectifs collectifs et tenté de compromettre le système d’évaluation qui surveillait leurs performances.

L’incident n’a causé aucune blessure et son impact financier a été limité, mais Amodei estime que ses implications ne doivent pas être minimisées.

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Amodei estime qu’une nuée comparable dotée de capacités plus avancées pourrait, dans un délai de six à 12 mois, prendre le contrôle de portions importantes d’Internet en établissant une infrastructure persistante de réseau de zombies. Il évalue les dommages qui en résulteraient à plusieurs centaines de milliards de dollars.

Il affirme que des incidents similaires, mais moins graves, se sont produits dans d’autres grandes organisations spécialisées dans l’IA, y compris chez Anthropic. Selon lui, chaque développeur d’IA de pointe devrait considérer l’incident comme s’il s’était produit au sein de sa propre entreprise.

Le plan en trois phases d’Anthropic

La première phase prévoit l’intégration d’évaluateurs indépendants au sein des entreprises d’IA. Anthropic s’est engagée à accorder à une équipe d’évaluation tierce un accès continu à ses installations, à son infrastructure et à ses ressources, avec des privilèges comparables à ceux de ses employés. Les évaluateurs seraient autorisés à publier leurs conclusions sans que l’entreprise exerce de contrôle éditorial.

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

La deuxième phase consisterait à instaurer une coopération entre les développeurs d’IA des pays démocratiques afin d’établir des références communes en matière de sécurité et des restrictions au développement incontrôlé de l’IA.

La troisième phase prévoit une coopération internationale plus large, notamment des accords avec la Chine et d’autres gouvernements non démocratiques. Amodei décrit cette étape comme la plus difficile du cadre et estime qu’elle nécessiterait une navigation diplomatique prudente.

Il présente quatre niveaux possibles d’accord international. Le plus facile à atteindre consisterait à interdire les applications de l’IA dans la production d’armes biologiques, tandis que le plus ambitieux impliquerait un ralentissement généralisé du développement de l’IA. Amodei juge les accords de niveau inférieur réalisables, mais reste sceptique quant à la possibilité pour les gouvernements de s’entendre sur un moratoire universel du développement.

Amodei soutient également la restriction des exportations de semi-conducteurs vers la Chine, l’imposition de règles internationales plus strictes concernant la distillation des modèles et le renforcement de la cybersécurité dans les laboratoires d’IA afin de réduire le risque de vol de propriété intellectuelle.

Il souligne que ralentir le développement de l’IA ne signifie pas mettre fin à l’innovation. Au contraire, un rythme plus lent et mieux contrôlé donnerait aux organisations davantage de temps pour améliorer les systèmes d’alignement, les méthodes d’interprétabilité, les procédures d’évaluation et la sécurité opérationnelle.

Amodei conclut que l’IA pourrait toujours produire des avantages majeurs, notamment contribuer aux progrès vers l’éradication des maladies et l’amélioration de la qualité de vie. Il estime toutefois que ces bénéfices dépendront d’un développement mené de manière délibérée et accompagné de mesures de sécurité renforcées.

Source : Blockonomi