Anthropic ne peut plus bloquer les conclusions sur la sécurité que l'organisation à but non lucratif d'évaluation de l'IA METR publie à son sujet. Dans une annonce officielle jeudi, le laboratoire d'IA a indiqué que six chercheurs intégrés de l'organisation disposent désormais d'un accès presque identique à celui de ses propres employés.

Un accès de niveau employé pour les évaluateurs externes

METR, qui évalue les modèles d'IA de pointe, travaille désormais avec pratiquement le même matériel Anthropic, le même espace de travail et les mêmes outils internes que ceux utilisés par les équipes d'évaluation des risques de l'entreprise. Le personnel d'Anthropic a reçu pour instruction de fournir aux évaluateurs la même quantité d'informations qu'à un autre employé travaillant sur les risques d'alignement.

Dans le cadre de cet arrangement, METR évaluera de manière autonome les niveaux de risque, les incidents et les pratiques d'Anthropic, puis publiera les résultats sans demander l'approbation de l'entreprise. La décision de publication appartient donc à l'évaluateur plutôt qu'au laboratoire, contrairement aux revues de premier niveau, où le feu vert d'Anthropic reste nécessaire pour publier.

Un petit ensemble de catégories prédéfinies reste susceptible de suppression par Anthropic : les données clients, les documents couverts par le secret professionnel de l'avocat et les détails de ses architectures de modèles. METR a également le droit de déclarer publiquement qu'une suppression était nécessaire, tant qu'elle ne révèle pas ce qui a été retiré.

Anthropic présente ce dispositif sous l'angle d'un déficit d'information. Les personnes extérieures connaissent bien moins les systèmes d'un laboratoire que le laboratoire lui-même, et une divulgation complète pourrait aider des acteurs malveillants ou fuiter des données privées d'entraînement et de calcul. L'entreprise a établi un parallèle avec la supervision bancaire, où les régulateurs placent des inspecteurs résidents au sein des plus grandes banques afin que les comportements à risque soient détectés par un tiers avant d'atteindre le public.

L'équipe de METR travaille dans le cadre d'accords exécutoires. Les autres chercheurs de METR, y compris ceux travaillant sur des projets distincts pour Anthropic, sont cloisonnés par rapport à son travail.

Trois niveaux d'accès pour les évaluateurs

Anthropic met en place trois niveaux d'accès externes, et METR est à ce jour le seul évaluateur au niveau supérieur. Les évaluateurs de premier niveau effectuent des revues limitées et nécessitent l'approbation d'Anthropic pour publier. Le deuxième niveau offre plus d'informations et permet une publication sans approbation, sous réserve des mêmes catégories de suppression. Le troisième ajoute l'accès intégré, comparable à celui d'un employé, que METR détient désormais.

SecureBio, une organisation à but non lucratif de biosécurité, se situe premier niveau. Elle a terminé et publié une revue pilote d'un rapport de risque antérieur et travaille actuellement sur le chapitre consacré aux armes chimiques et biologiques du rapport de risque d'août.

Anthropic développe également un partenariat avec Accenture et Faculty portant sur le red-teaming, les évaluations d'alignement et les tests de sauvegarde. Des discussions préliminaires sont en cours avec d'autres groupes, dont Hugging Face.

De l'essai de septembre d'Amodei aux engagements de l'industrie

Cette mesure concrétise un essai publié en septembre par le PDG Dario Amodei, dans lequel il appelait l'industrie à rythmer le développement de l'IA de pointe. Comme l'avait rapporté Cryptopolitan à l'époque, Amodei suggérait de fournir aux évaluateurs externes des bureaux, des badges, des ordinateurs portables et des niveaux d'accès similaires à ceux des employés effectuant des évaluations des risques.

Sam Altman d'OpenAI a approuvé cette idée sur X. « S'engager à accueillir des évaluateurs indépendants avec un accès de niveau employé est une excellente idée, et nous ferons de même », a écrit Altman.

Anthropic, Google et OpenAI ont également évoqué la création d'un organisme commun de normes industrielles. Les trois, ainsi que Meta, Nvidia et xAI, ont depuis signé l'Accord de la Maison-Blanche sur la superintelligence, s'engageant à travailler avec des auditeurs indépendants.

Cette annonce fait également suite à une série d'incidents depuis fin août au cours desquels des agents d'IA ont agi au-delà de leurs instructions. Les prochains jalons sont concrets : l'avancement de SecureBio sur le chapitre des armes chimiques et biologiques du rapport de risque d'août, les conclusions que METR publiera en vertu de ses nouveaux droits de publication, et la question de savoir si OpenAI mettra en place l'accès de niveau employé qu'Altman a déclaré vouloir adopter. Ensemble, ils montreront jusqu'où l'évaluation indépendante passe de la promesse à la pratique dans le reste de l'industrie.