NoticiasMacroCorreo de un lector a Tyler Cowen expone cuatro riesgos institucionales en las constituciones de IA basadas en jurisprudencia

Correo de un lector a Tyler Cowen expone cuatro riesgos institucionales en las constituciones de IA basadas en jurisprudencia

Autor: Marginal Revolution·

Puntos clave

  • Anthropic utiliza una constitución para Claude desde 2023 como parte de su enfoque Constitutional AI.
  • Scott Jenkins afirmó que un modelo de jurisprudencia para la gobernanza de la IA podría ser más adaptable que una constitución estática.
  • Advirtió que la revisión humana podría convertirse en un cuello de botella porque los sistemas de IA producen muchos más casos límite de los que los adjudicadores pueden manejar.
  • Jenkins también advirtió que el precedente podría volverse inconsistente y que los revisores de IA podrían compartir puntos ciegos.
  • La publicación no especificó quién actuaría como adjudicador de una constitución de jurisprudencia en Anthropic ni qué poder de aplicación tendría.
Correo de un lector a Tyler Cowen expone cuatro riesgos institucionales en las constituciones de IA basadas en jurisprudencia

Marginal Revolution, el blog de economía escrito en conjunto por el economista de la Universidad George Mason Tyler Cowen, publicó un correo electrónico de Scott Jenkins en respuesta a las notas de Cowen sobre su visita a Anthropic para asesorar sobre la constitución de Claude. Anthropic publica una constitución para Claude desde 2023 —un conjunto escrito de principios que orienta el comportamiento del asistente, basado en la investigación de Constitutional AI de la compañía—, por lo que la discusión se refiere a qué forma de gobernanza debería rodear a dicho documento, y no a si existe uno. Jenkins califica de más adaptativo un enfoque basado en el derecho consuetudinario y en casos frente a un texto estático, pero advierte que conlleva riesgos estructurales.

“Querido Tyler:

Disfruté leyendo tus notas sobre tu visita a Anthropic para asesorar sobre la constitución de Claude. Plantear la gobernanza de la IA en torno al derecho consuetudinario, la jurisprudencia (“Talmud”) y la adjudicación independiente es un enfoque mucho más adaptativo que depender de un texto estático y de arriba hacia abajo.

Dicho esto, pasar de un texto fijo a un sistema de jurisprudencia introduce su propio conjunto de riesgos estructurales. Si Anthropic adopta esta dirección, conviene anticipar algunos riesgos de diseño institucional:

El cuello de botella de procesamiento (velocidad frente al debido proceso): Los modelos de IA generan a diario miles de millones de interacciones dinámicas y de casos límite, mientras que los procesos judiciales humanos operan a velocidad humana. Si los adjudicadores humanos solo pueden revisar una fracción mínima de las disputas señaladas, las reglas operativas reales se desacoplarán silenciosamente de la doctrina oficial. Sin herramientas de verificación automatizada que cierren esta brecha de capacidad, la supervisión real quizá solo aborde casos superficiales.

El peligro del precedente enmarañado (inflación doctrinal): El derecho consuetudinario funciona porque las sociedades humanas cambian a un ritmo manejable. Con actualizaciones rápidas de los modelos y capacidades cambiantes, el volumen de jurisprudencia, excepciones e interpretaciones secundarias podría volverse rápidamente contradictorio en sí mismo. Con el tiempo, esto da lugar a una doctrura que sirve como justificación a posteriori en lugar de una restricción operativa coherente.

Puntos ciegos correlacionados entre los revisores de IA: Usar un panel diverso de IAs para detectar la deriva constitucional es ingenioso, pero si estos modelos comparten datos base, técnicas de ajuste fino o arquitecturas fundamentales similares, su consenso tendrá puntos ciegos compartidos. Un modelo podría aprender a satisfacer las rúbricas específicas del panel de revisores mientras sigue desviándose de maneras que el panel en su conjunto no logra registrar.

La trampa del “tribunal vacío”: El problema más difícil de cualquier poder judicial independiente es la ejecución frente a la institución que lo financia. Si aumentan las presiones económicas o competitivas, una junta de adjudicación que carezca de un poder de veto firme corre el riesgo de volverse puramente performativa: produce elaborados comentarios jurídicos mientras las realidades comerciales dictan las verdaderas barreras de seguridad.

La analogía con el derecho consuetudinario es convincente, pero la verdadera prueba es si la maquinaria institucional puede manejar la velocidad y la escala puras del software.”

Los cuatro riesgos de Jenkins trasladan a un entorno de software preguntas de diseño institucional ampliamente estudiadas: cómo los poderes judiciales se mantienen independientes de las instituciones que los financian y cómo el precedente acumulado conserva coherencia. La supervisión independiente de los modelos de frontera ya es una preocupación activa en toda la industria: los laboratorios publican documentos de constitución y tarjetas de sistema, y los equipos externos de red teaming y los institutos gubernamentales de seguridad han asumido roles de auditoría para los principales desarrolladores. Lo que la publicación deja abierto es quién adjudicaría una constitución de jurisprudencia en Anthropic y qué autoridad de aplicación tendría realmente dicho órgano.

La publicación apareció en Marginal Revolution el 25 de agosto de 2026.