Anthropic ha seleccionado a Accenture como su primer evaluador integrado, una alianza orientada a respaldar la desaceleración del desarrollo de la IA propuesta la semana pasada por el CEO de Anthropic, Dario Amodei.

Amodei publicó una propuesta de tres pasos el 12 de septiembre en la que pide que el desarrollo de la IA avance a un ritmo más lento para que puedan establecerse salvaguardas, citando advertencias sobre un posible daño catastrófico derivado de un progreso rápido y sin control.

La reacción en la industria fue mixta. El CEO de OpenAI, Sam Altman, y el CEO de SpaceX, Elon Musk, expresaron su apoyo al plan, mientras que el CEO de Nvidia, Jensen Huang, no lo hizo, y argumentó que esa regulación no era necesaria. El movimiento de Anthropic para comenzar a implementar el plan llega en medio de esa falta de consenso en la industria.

En la propuesta, Amodei escribió que "la IA ha estado avanzando drásticamente más rápido, impulsada principalmente por la creciente capacidad de la IA para construir la próxima generación de IA. Esta dinámica se llama autorrentabilidad recursiva", y agregó que "si se deja sin control, podría superar nuestra capacidad de entender y controlar estos sistemas".

El primer paso del plan prevé evaluadores independientes con acceso similar al de empleados a los sistemas de IA, un compromiso que Anthropic ya había asumido de manera unilateral, según Amodei. El viernes, la empresa dio cumplimiento a ese compromiso al anunciar una alianza con Accenture y su negocio de IA, Faculty, enfocada en "evaluar y hacer red teaming de modelos, realizar evaluaciones de alineamiento y probar salvaguardas de modelos". El anuncio lleva el primer paso de la propuesta del principio a la práctica.

La empresa indicó que los detalles de cómo funcionará el acuerdo aún se están definiendo, ya que la evaluación integrada es un campo nuevo, en el que incluso preguntas básicas, como cómo funcionará en la práctica el acceso similar al de empleados, siguen sin respuesta.

Según el anuncio, Anthropic y Accenture esperan invertir cada una al menos 1.000 millones de dólares en el proyecto durante los próximos cinco años.

Anthropic financiará el trabajo directamente ante la urgencia

Anthropic señaló que actualmente no existe un sistema para financiar la evaluación independiente y que la financiación a largo plazo debería provenir en última instancia de fuentes mancomunadas o gubernamentales. Sin embargo, dada la urgencia del trabajo, Anthropic financiará directamente el trabajo de Accenture. Hasta que existan esos mecanismos de financiación más amplios, los compromisos de ambas empresas son la única financiación que actualmente respalda este trabajo.

La alianza no es exclusiva, y Anthropic que espera anunciar evaluadores adicionales en las próximas semanas. Esos anuncios, junto con los detalles operativos aún indefinidos, serán los puntos a observar a medida que el nuevo campo tome forma.

Según Accenture, Faculty se especializa en probar y evaluar modelos para algunos de los laboratorios de IA líderes del mundo y en construir sistemas de IA complejos que son seguros y éticos por diseño.

"La evaluación integrada es un área emergente y esperamos asociarnos con Anthropic para ayudar a acelerar el desarrollo de evaluadores integrados, que vemos como una parte importante del panorama de seguridad en el futuro", dijo Julie Sweet, presidenta y CEO de Accenture.