El autor del blog de economía Marginal Revolution relata que participó muy recientemente en una sesión de dos días en Anthropic para orientar la reescritura de la constitución de Claude. El pequeño grupo invitado fue “uniformemente excelente”, escribe el autor; los participantes contaron con tiempo sustancial con los principales responsables de la toma de decisiones y las discusiones fueron de muy alta calidad.

Anthropic es una empresa de seguridad de IA con sede en San Francisco, fundada en 2021 por antiguos investigadores de OpenAI, entre ellos su director ejecutivo, Dario Amodei. Claude es su asistente de IA, y la empresa lo entrena mediante un enfoque conocido como IA constitucional, en el que el comportamiento del modelo se guía por un conjunto explícito de principios escritos. Anthropic ha publicado públicamente la constitución de Claude, elaborada en parte a partir de fuentes como la Declaración Universal de los Derechos Humanos de la ONU. El método fue presentado en un artículo de investigación de Anthropic de diciembre de 2022, y el documento se publicó en línea en mayo de 2023 —lo que convirtió a Claude en uno de los pocos asistentes de IA de amplio uso con sus principios rectores publicados de forma abierta—. La sesión encaja con un patrón en el que Anthropic ha buscado aportes externos sobre el texto, incluso mediante consultas públicas realizadas con socios externos. Dado que la constitución determina cómo responde Claude a una amplia base de usuarios, la forma en que está redactado el documento —y quién verifica que el modelo realmente lo cumpla— se ha convertido en una cuestión activa de la gobernanza de la IA.

Entre los puntos que, según el autor, se destacaron durante la sesión:

1. Sea lo que sea que uno entienda por “constitución” en este contexto, esta debe tomar más prestado de análogos como la jurisprudencia y el common law.
2. En una línea similar, pensar más en términos de “Talmud” y no solo de “Tora”.
3. Trabajar para ayudar a construir una literatura secundaria de calidad sobre las constituciones de IA y documentos relacionados, algo que hoy no existe.
4. Considerar cómo un panel de IAs diversas, operando con distintos prompts, podría ayudar a evaluar en qué medida Claude y otros modelos de IA actuaban de acuerdo con sus constituciones.
5. Establecer una junta final de árbitros humanos que funcione de manera análoga a un poder judicial independiente. En la medida en que el panel de IAs diversas tuviera indicios de que Claude no estaba siguiendo su constitución, esas IAs podrían alertar a los árbitros humanos sobre lo que ocurría, y estos podrían entonces tener autoridad sobre posibles cambios y medidas correctivas.

El autor también dirigió a sus lectores a una publicación breve reciente sobre el uso de tribunales internos y del common law para gobernar y autorregular la IA, así como a otros textos sobre los tribunales. En conjunto, las sugerencias de la sesión importarían una maquinaria jurídica familiar —precedentes, comentarios y revisión independiente— a un proceso que, como señala el autor, hoy carece incluso de una literatura secundaria.

La publicación cierra agradeciendo a Anthropic por recibir al grupo. Cualquier cambio resultante sería visible en futuras revisiones públicas del documento, que Anthropic ha actualizado entre generaciones de modelos.

Marginal Revolution, fundado en 2003 por los economistas de la George Mason University Tyler Cowen y Alex Tabarrok, es un blog de economía de larga trayectoria.

Fuente: Marginal Revolution