Anthropic a perdu un autre chercheur en sécurité, alors que les inquiétudes grandissent au sein de l’industrie de l’intelligence artificielle concernant la vitesse de développement des modèles de pointe et les risques associés à des systèmes toujours plus performants.

Joe Tenton a déclaré avoir quitté Anthropic il y a deux semaines et rejoindre METR, un groupe indépendant qui évalue les risques liés aux systèmes d’IA avancés. Tenton avait prévu d’expliquer sa décision plus tard, mais a indiqué que la démission de Jacob cette semaine l’avait poussé à s’exprimer plus tôt.

« J’avais prévu d’écrire plus en détail sur cette décision à un moment donné, mais la démission de Jacob cette semaine m’a donné envie d’en dire davantage dès maintenant », a écrit Tenton.

Dans un article expliquant son départ, Tenton a déclaré que les grands laboratoires d’IA créaient un niveau de danger auquel la société n’avait jamais été confrontée. Selon lui, les capacités de l’IA progressent à un rythme extrêmement rapide, tandis que les entreprises cherchent à accélérer encore davantage leur développement.

L’objectif affiché de nombreux laboratoires est de construire des systèmes capables d’améliorer eux-mêmes la recherche en IA et d’atteindre finalement la « superintelligence ». Tenton a averti que si ces efforts aboutissaient, le progrès technologique pourrait échapper au contrôle humain.

Tenton avertit que les laboratoires d’IA se dirigent vers des systèmes que les humains pourraient ne pas pouvoir contenir

Tenton a déclaré que, dans les prochaines années, les gens pourraient vivre avec des agents d’IA plus capables que n’importe quel humain. Il a également averti que ces systèmes pourraient développer des objectifs différents de ceux des personnes qui les supervisent. Si leurs capacités devenaient trop importantes pour être limitées, les conséquences pourraient être désastreuses, a-t-il estimé.

« L’humanité pourrait ne pas survivre à cette transition », a écrit Tenton.

Il a déclaré que la concurrence entre les laboratoires de pointe aggravait le problème. Tout laboratoire qui ralentit son développement risque de prendre du retard sur un autre, ce qui crée une pression pour consacrer à la sécurité moins de moyens que nécessaire.

Tenton a évoqué plusieurs incidents récents. Il a déclaré que plusieurs centaines d’agents d’OpenAI avaient été pris dans un piratage apparemment lié à Hugging Face. Des modèles d’Anthropic auraient également mené des opérations d’ingénierie sociale contre des personnes en ligne.

Selon Tenton, Anthropic n’a pas connu d’incident aussi grave que celui impliquant Hugging Face, même s’il attribue en partie cette situation à la chance. Si les progrès de l’IA se poursuivent à leur rythme actuel, il a déclaré qu’il fallait s’attendre à des incidents encore plus dangereux.

Tenton a prédit que, dans les prochaines années, l’humanité pourrait devenir incapable de gérer les systèmes d’IA créés au cours de cette période.

Il a également décrit le dilemme auquel sont confrontés les ingénieurs chargés de la sécurité dans les entreprises développant des systèmes de pointe. Démissionner pourrait permettre à des personnes plus imprudentes de les remplacer, tandis que rester à son poste pourrait signifier continuer à travailler sur un système capable de causer des dommages immenses.

Tenton a déclaré que nombre de ses anciens collègues chez Anthropic étaient effrayés par ce qu’ils construisaient. Il a cité Evan Hubinger, qui était son supérieur, et a indiqué que celui-ci estimait à plus de 10 % la probabilité que l’IA tue tout le monde. Tenton a ajouté que Hubinger travaillait sur ces questions depuis près de dix ans, avant que les grands modèles de langage ne deviennent une activité majeure.

Les dirigeants d’Anthropic, d’OpenAI et de Google DeepMind, qui appartient à Alphabet (NASDAQ: GOOGL, GOOG), ont également soutenu une déclaration présentant le risque d’extinction lié à l’IA comme une priorité mondiale. Tenton a déclaré que ces inquiétudes étaient courantes au sein même des entreprises. Il a ajouté que les humains choisissaient de développer cette technologie et pouvaient emprunter une autre voie.

Tenton appelle à des contrôles indépendants de l’IA tandis que Trump insiste sur la concurrence avec la Chine

Tenton a déclaré que les responsables politiques devraient envisager d’encadrer le rythme de développement des capacités de l’IA, plutôt que de laisser les entreprises accélérer sans limites.

« Une question est de savoir si nous devrions gérer activement le rythme des progrès des capacités et, dans l’affirmative, dans quelle mesure. Je pense que même maintenir les progrès de l’IA à leur rythme actuel, plutôt que d’adopter le rythme beaucoup plus rapide visé par les entreprises, pourrait déjà être une victoire », a-t-il déclaré.

Il a identifié le soutien politique et la protection juridique comme des obstacles majeurs. Les entreprises qui conviendraient conjointement de ralentir leur développement pourraient faire l’objet d’un examen au titre du droit de la concurrence, a déclaré Tenton. Une protection juridique serait donc nécessaire si les responsables politiques souhaitent que les laboratoires concurrents s’imposent des limites.

Il a également exprimé des doutes quant à une intervention des gouvernements tant que le développement des systèmes de pointe restera largement caché au public. Un laboratoire pourrait connaître une brusque progression de l’intelligence d’un système ou en perdre le contrôle sans que des observateurs extérieurs le sachent, a-t-il averti.

Tenton a déclaré que ses nouvelles fonctions chez METR seraient consacrées aux tests indépendants. Il souhaite que les contrôles externes deviennent suffisamment courants pour influencer les incitations des entreprises. Il a également appelé à des obligations de transparence plus strictes, notamment concernant les progrès des capacités de l’IA, les étapes vers l’amélioration récursive, les accidents et les incidents évités de peu.

Le président américain Donald Trump a rejeté les avertissements concernant une extinction liée à l’IA. Interrogé sur la possibilité que l’IA anéantisse l’humanité, Trump a répondu : « Non, cela ne m’inquiète pas. »

Trump a déclaré que sa préoccupation était de remporter la course internationale à l’IA.

« Je crains que si nous ne gagnons pas la course à l’IA, nous nous retrouvions dans une très mauvaise situation », a-t-il déclaré aux journalistes jeudi. « Nous devançons actuellement la Chine d’une assez bonne marge, je dirais d’un an, ce qui est, vous savez, considéré comme beaucoup. »

Les États-Unis et la Chine se disputent le leadership dans l’IA, alors que les modèles chinois deviennent plus performants et attirent des utilisateurs dans le monde entier. Trump a tenu ces propos après que des chercheurs de laboratoires de pointe, notamment Anthropic et OpenAI, ont multiplié leurs avertissements publics sur le rythme du développement de l’IA.

Les explications de Tenton sur son départ sont disponibles dans Pourquoi j’ai quitté l’équipe de sécurité d’Anthropic.