L’auteur du blog économique Marginal Revolution indique avoir très récemment participé à une session de deux jours chez Anthropic afin d’apporter des conseils sur la réécriture de la constitution de Claude. Le petit groupe invité était, selon l’auteur, « uniformément excellent », les participants ont eu des échanges substantiels avec des décideurs clés et les discussions ont été de très grande qualité.

Anthropic est une société de sécurité de l’IA basée à San Francisco, fondée en 2021 par d’anciens chercheurs d’OpenAI, dont son PDG Dario Amodei. Claude est son assistant d’IA, et l’entreprise l’entraîne au moyen d’une approche appelée IA constitutionnelle, dans laquelle le comportement d’un modèle est guidé par un ensemble explicite de principes écrits. Anthropic a publié publiquement la constitution de Claude, en s’inspirant en partie de sources telles que la Déclaration universelle des droits de l’homme de l’ONU. La méthode a été présentée dans un article de recherche d’Anthropic de décembre 2022, le document a été mis en ligne en mai 2023 — faisant de Claude l’un des rares assistants d’IA largement utilisés dont les principes directeurs sont publiés ouvertement — et cette session s’inscrit dans une pratique par laquelle Anthropic a recherché des contributions externes sur le texte, notamment par le biais de consultations publiques menées avec des partenaires extérieurs. Parce que la constitution influence la manière dont Claude répond à une large base d’utilisateurs, la façon dont le document est rédigé — et l’identité de ceux qui vérifient que le modèle la respecte réellement — est devenue une question active de gouvernance de l’IA.

Parmi les points, l’auteur dit avoir insisté sur les suivants :

1. Quelle que soit la manière dont on peut entendre le terme « constitution » dans ce contexte, il doit s’inspirer davantage d’analogues de la jurisprudence et de la common law.
2. Dans la même logique, penser davantage en termes de « Talmud » et pas seulement en termes de « Torah ».
3. Travailler à l’élaboration d’une littérature secondaire de qualité sur les constitutions de l’IA et les documents connexes — ce qui n’existe pas actuellement.
4. Examiner comment un panel d’IA diverses, fonctionnant avec des prompts différents, pourrait aider à évaluer dans quelle mesure Claude et d’autres modèles d’IA agissent conformément à leurs constitutions.
5. Mettre en place un conseil final d’arbitres humains, fonctionnant d’une manière analogue à une magistrature indépendante. Dans la mesure où le panel d’IA diverses aurait des inquiétudes quant au fait que Claude ne respecte pas sa constitution, ces IA pourraient en informer les arbitres humains. Ces derniers auraient alors autorité sur les changements et remèdes potentiels.

L’auteur a également renvoyé les lecteurs vers un récent court billet sur l’utilisation de tribunaux internes et de la common law pour aider à gouverner et à s’auto-gouverner l’IA, ainsi que vers d’autres écrits sur les tribunaux. Pris ensemble, ces सुझाव importeraient une machinerie juridique familière — précédents, commentaires et examen indépendant — dans un processus qui, comme le note l’auteur, ne dispose aujourd’hui même pas d’une littérature secondaire.

Le billet se conclut par des remerciements à Anthropic pour avoir accueilli le groupe. Les changements qui en résulteraient seraient visibles dans de futures révisions publiques du document, qu’Anthropic a mises à jour entre les générations de modèles.

Marginal Revolution, fondé en 2003 par les économistes de la George Mason University Tyler Cowen et Alex Tabarrok, est un blog économique de longue date.

Source : Marginal Revolution