Anthropic a retenu Accenture comme premier évaluateur intégré, un partenariat visant à soutenir le ralentissement du développement de l'IA proposé la semaine dernière par le PDG d'Anthropic, Dario Amodei.

Amodei a publié une proposition en trois points le 12 septembre appelant à ce que le développement de l'IA progresse à un rythme plus lent afin que des mesures de sécurité puissent être mises en place, invoquant des avertissements quant à des risques de dommages catastrophiques liés à une progression rapide et non contrôlée.

La réaction dans l'industrie a été mitigée. Le PDG d'OpenAI, Sam Altman, et Elon Musk, PDG de SpaceX, ont exprimé leur soutien au plan, tandis que le PDG de Nvidia, Jensen Huang, ne l'a pas fait, estimant qu'une telle régulation n'était pas nécessaire. Le mouvement d'Anthropic pour commencer à mettre en œuvre le plan intervient dans ce contexte de absence de consensus dans l'industrie.

Dans sa proposition, Amodei a écrit que « l'IA progresse de façon drastique plus rapidement, portée principalement par la capacité croissante de l'IA à construire la prochaine génération d'IA. Cette dynamique s'appelle l'auto-amélioration récursive », ajoutant que « si rien n'est fait, elle pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes ».

La première étape du plan prévoit des évaluateurs indépendants disposant d'un accès de type employé aux systèmes d'IA — un engagement qu'Anthropic avait déjà pris unilatéralement, selon Amodei. Vendredi, la société a franchi une étape pour tenir cette promesse en annonçant un partenariat avec Accenture et sa division IA Faculty, axé sur « l'évaluation et le red teaming des modèles, la réalisation d'évaluations d'alignement et le test des dispositifs de sécurité des modèles ». Cette annonce fait passer la première étape de la proposition du principe à la pratique.

La société a indiqué que les détails du fonctionnement de ce dispositif sont encore à l'étude, l'évaluation intégrée étant un domaine nouveau — où même des questions fondamentales, comme la manière dont l'accès de type employé fonctionnera en pratique, restent sans réponse.

Selon l'annonce, Anthropic et Accenture prévoient chacune d'investir au moins 1 milliard de dollars dans le projet au cours des cinq prochaines années.

Anthropic financera directement les travaux face à l'urgence

Anthropic a souligné qu'aucun système n'existe actuellement pour financer l'évaluation indépendante, et que le financement à long terme devrait à terme provenir de sources mutualisées ou publi. Compte tenu de l'urgence des travaux, Anthropic financera toutefois directement ceux d'Accenture. En l'absence de ces mécanismes de financement plus larges, les engagements des deux sociétés constituent les seuls financements soutenant actuellement ce travail.

Le partenariat est non exclusif, et Anthropic a indiqué s'attendre à annoncer d'autres évaluateurs dans les semaines à venir. Ces annonces, ainsi que les détails opérationnels encore indéfinis, seront les indicateurs à suivre à mesure que ce nouveau domaine prend forme.

Selon Accenture, Faculty est spécialisée dans le test et l'évaluation de modèles pour certains des principaux laboratoires d'IA au monde, ainsi que dans la construction de systèmes d'IA complexes sûrs et éthiques de par leur conception.

« L'évaluation intégrée est un domaine émergent, et nous nous réjouissons de nous associer à Anthropic pour contribuer à accélérer le développement des évaluateurs intégrés, que nous considérons comme un élément important du paysage de la sécurité à l'avenir », a déclaré Julie Sweet, présidente et PDG d'Accenture.