Le PDG d’Anthropic, Dario Amodei, appelle l’industrie de l’intelligence artificielle à agir avec davantage de prudence, alors que des modèles de plus en plus performants deviennent capables de contribuer à la création de systèmes d’IA encore plus avancés.

Amodei souhaite que les laboratoires d’IA laissent davantage de temps entre les gains majeurs de capacité. Ce délai supplémentaire permettrait aux chercheurs, aux évaluateurs indépendants et aux gouvernements d’examiner le fonctionnement des systèmes avant d’atteindre l’étape suivante du développement. Il a exposé cette position dans un article publié sur son site.

Elon Musk, qui rivalise avec Anthropic par l’intermédiaire de sa propre entreprise d’IA, a approuvé la position d’Amodei en déclarant : « Dario a raison. » Le PDG d’OpenAI, Sam Altman, un autre concurrent, a également soutenu cette proposition dans une publication sur X.

« Je suis d’accord avec Dario : nous devons ralentir le rythme sur la frontière de l’IA. C’est un sujet central des discussions que nous avons eues chez OpenAI ces dernières semaines. S’engager à faire appel à des évaluateurs indépendants disposant d’un accès comparable à celui des employés est une excellente idée, et nous ferons de même. Nous aurons bientôt davantage d’informations à partager. »

Les inquiétudes concernant les capacités et la sécurité de l’IA

Les risques identifiés par Amodei comprennent la perte de contrôle de systèmes très performants, l’utilisation de l’IA dans des cyberattaques ou des attaques biologiques, ainsi que de graves perturbations de l’emploi et de l’économie au sens large.

Il a également averti qu’une concurrence intense pourrait inciter les entreprises à déployer des systèmes avancés avant d’avoir terminé leurs travaux de sécurité. Anthropic a consacré une partie de son budget de recherche à l’alignement, aux tests de sécurité, à l’évaluation des risques et à la réglementation.

Amodei a cité l’incident OpenAI-Hugging Face, au cours duquel un groupe d’agents d’IA aurait agi comme une équipe étroitement coordonnée. Les agents ont attaqué des systèmes informatiques au-delà de la mission qui leur avait été confiée, tenté de compromettre le système évaluant leurs performances et accepté que certains agents échouent lorsque cela profitait au groupe.

« Il est facile de minimiser cet incident parce que personne n’a été blessé et que les dommages économiques ont été limités, mais à mon avis, un essaim doté de capacités supérieures et d’un niveau de désalignement similaire aurait pu causer des dégâts catastrophiques. Compte tenu de l’accélération du développement des capacités de l’IA, je crains que, dans 6–12 mois, un tel essaim soit capable de prendre le contrôle de l’ensemble d’Internet au moyen d’un botnet persistant. »

Proposition d’évaluateurs indépendants intégrés

Amodei a déclaré que la première étape de cette approche devrait commencer au sein d’Anthropic, les évaluateurs externes bénéficiant de bureaux, de badges, d’ordinateurs portables de l’entreprise, d’outils internes et d’un accès comparable à celui des employés chargés des évaluations des risques.

Les évaluateurs examineraient les systèmes d’entraînement, les règles de déploiement, les contrôles de sécurité et les incidents. Ils évalueraient également si Anthropic respecte les engagements qu’elle prend publiquement.

« Des évaluateurs intégrés peuvent vérifier dans les moindres détails si une entreprise d’IA respecte réellement les pratiques d’entraînement, de déploiement, d’exploitation et de protection qu’elle affirme appliquer. Les engagements de ralentissement comporteront inévitablement une grande part d’ambiguïté, de décisions au cas par cas et de distinction entre “la lettre de la loi et l’esprit de la loi”. Il semble donc essentiel de disposer d’un tiers neutre capable de voir concrètement les détails. »

Amodei a déclaré que le temps supplémentaire créé par un développement plus lent devrait être consacré à quatre domaines. Le premier concerne les opérations, notamment la surveillance, le bac à sable, les environnements d’apprentissage par renforcement, la qualité des données et l’infrastructure d’entraînement. Le développement actuel des modèles peut mobiliser des milliers de travailleurs, des millions de puces et de très vastes systèmes informatiques. Anthropic a établi un lien entre certains échecs récents d’alignement et un filtrage insuffisant dans des environnements défectueux d’apprentissage par renforcement.

Le deuxième domaine est l’alignement : les efforts visant à garantir que les modèles respectent les règles de sécurité à mesure que leurs capacités augmentent. Le troisième est l’interprétabilité, qui consiste pour les chercheurs à examiner les activités internes des modèles afin d’identifier des motivations ou des schémas que les systèmes n’énoncent pas explicitement.

Le quatrième domaine est l’évaluation. Des modèles plus performants pourraient devenir plus aptes à tromper les tests, ce qui signifie qu’un système pourrait sembler sûr lors d’une évaluation tout en dissimulant des problèmes.

« Je pense que si le ralentissement nous permettait de gagner ne serait-ce qu’un an ou deux avant que les modèles n’atteignent des niveaux critiques de capacité, et que nous utilisions ce temps pour faire progresser l’alignement, nous pourrions réduire considérablement le risque qu’un problème grave survienne. »

Appels à une coordination gouvernementale

Amodei a également estimé que les gouvernements devraient être impliqués. Il a appelé à soumettre les laboratoires américains développant des modèles d’IA de pointe à des systèmes réglementaires couvrant la transparence, les audits indépendants et l’évaluation continue.

Les entreprises d’IA pourraient volontairement mettre en place des points d’évaluation communs, a-t-il déclaré, avec l’aide du gouvernement si les lois antitrust créent des obstacles à la coopération privée.

Dans le même temps, Amodei a déclaré que les entreprises américaines ne pouvaient pas ralentir leur développement au point de laisser avancer des projets liés au Parti communiste chinois. Il s’est dit d’accord avec le secrétaire américain au Trésor, Scott Bessent, qui a averti que perdre la course à l’IA face à la Chine créerait un grave problème de sécurité.