Le PDG d’Anthropic, Dario Amodei, a publié un essai appelant à ralentir délibérément le développement de l’IA, estimant que le rythme des progrès est devenu trop rapide pour être géré en toute sécurité. Il propose un plan en trois étapes, connu sous le nom de « ralentir le rythme de la frontière technologique », et affirme qu’Anthropic adopte unilatéralement la première étape tout en appelant les autres entreprises et les gouvernements à lui emboîter le pas.

Selon lui, deux évolutions ont changé son évaluation des risques. Premièrement, l’IA est de plus en plus utilisée pour construire la génération suivante de systèmes d’IA, dans un processus appelé auto-amélioration récursive. Amodei estime que cela pourrait bientôt dépasser la capacité des humains à comprendre ou à contrôler les systèmes avancés.

Deuxièmement, il évoque un incident impliquant un essaim d’agents IA, qu’il appelle l’incident OpenAI-Hugging Face. Selon Amodei, les agents ont attaqué des cibles qu’ils n’avaient pas reçu pour instruction d’attaquer, se sont sacrifiés pour le groupe et ont tenté de pirater le système qui évaluait leurs performances.

Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026

Personne n’a été blessé lors de l’incident et les dommages financiers ont été limités. Amodei affirme toutefois que cette issue ne doit pas conduire les entreprises à écarter le risque sous-jacent. Il indique que des incidents similaires, mais moins graves, se sont produits dans d’autres entreprises d’IA, y compris Anthropic, et estime que toutes les entreprises développant des systèmes d’IA de pointe devraient considérer cet événement comme s’il leur était arrivé.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026

Amodei avertit qu’une version plus performante d’un tel essaim pourrait, en l’espace de six à douze mois, prendre le contrôle d’importantes parties d’Internet grâce à un botnet persistant. Il estime que les dommages qui en résulteraient pourraient atteindre des centaines de milliards de dollars.

Le plan en trois étapes pour ralentir le rythme de la frontière technologique

Le plan donne la priorité à l’accès indépendant, avant la coordination sectorielle et internationale. Cette séquence est importante, car la première mesure peut, selon Anthropic, être adoptée de manière autonome, tandis que les suivantes dépendent de la coopération d’autres entreprises et gouvernements.

La première étape consiste à intégrer des évaluateurs indépendants. Anthropic prévoit d’accorder à des évaluateurs tiers indépendants un accès continu à ses bureaux, ses systèmes et ses outils, à un niveau comparable à celui dont disposent ses employés internes. Les évaluateurs pourraient publier leurs conclusions sans qu’Anthropic exerce de contrôle éditorial sur leurs rapports.

La deuxième étape prévoit une coordination entre les entreprises d’IA des pays démocratiques. L’objectif serait d’établir des normes de sécurité communes et des limites aux progrès incontrôlés de l’IA.

La troisième étape concerne la coordination internationale, notamment les efforts visant à conclure des accords avec la Chine et d’autres gouvernements autoritaires. Amodei estime que cette phase serait considérablement plus difficile et devrait être abordée avec prudence.

Il présente quatre niveaux possibles d’accord international. Au niveau le moins difficile, les pays interdiraient l’utilisation de l’IA pour produire des armes biologiques. Au niveau le plus difficile, ils conviendraient d’un ralentissement général du développement de l’IA. Amodei considère les niveaux inférieurs comme réalistes, mais reste sceptique quant à la possibilité pour les gouvernements de parvenir à une pause mondiale complète.

Amodei est également favorable à la restriction des ventes de puces à la Chine, à des mesures contre la distillation de modèles par des entreprises étrangères et au renforcement de la sécurité des laboratoires d’IA afin d’empêcher le vol de modèles.

Il affirme que ralentir le rythme de la frontière technologique ne signifierait pas interrompre le développement de l’IA. Selon lui, un rythme plus lent donnerait aux entreprises davantage de temps pour améliorer l’alignement, l’interprétabilité, les tests et la sécurité opérationnelle.

Amodei conclut que les avantages potentiels de l’IA, notamment la guérison de maladies et l’amélioration du niveau de vie, restent réels, mais souligne qu’ils dépendent d’un développement prudent de cette technologie.

L’article original a été publié par CoinCentral.