Anthropic ya no puede bloquear los hallazgos de seguridad que la organización sin fines de lucro de evaluación de IA METR publica sobre la empresa. En un anuncio oficial del jueves, el laboratorio de IA dijo que seis investigadores integrados de la organización sin fines de lucro ahora tienen un acceso casi equivalente al de su propio personal.

Acceso de nivel de empleado para evaluadores externos

METR, que evalúa modelos de IA de frontera, ahora trabaja con esencialmente el mismo hardware, espacio de trabajo y herramientas internas de Anthropic que utilizan los propios equipos de evaluación de riesgos de la empresa. Se ha instruido al personal de Anthropic que brinde a los evaluadores la misma cantidad de información que le proporcionarían a otro empleado que trabaja en riesgos de alineamiento.

Según este acuerdo, METR evaluará de forma independiente los niveles de riesgo, los incidentes y las prácticas de Anthropic, y luego publicará los resultados sin buscar la aprobación de la empresa. Por lo tanto, la decisión de publicación recae en el evaluador y no en el laboratorio, a diferencia de las revisiones de primer nivel, donde la firma de Anthropic sigue siendo necesaria para publicar.

Un pequeño conjunto de categorías predefinidas permanece sujeto a edición por parte de Anthropic: datos de clientes, material con privilegio abogado-cliente y detalles de las arquitecturas de sus modelos. METR también tiene el derecho de declarar públicamente si una edición fue necesaria, siempre que no revele qué se eliminó.

Anthropic encuadra el acuerdo en términos de una brecha de información. Los externos saben mucho menos sobre los sistemas de un laboratorio que el propio laboratorio, y una divulgación completa podría ayudar a actores maliciosos o filtrar datos privados de entrenamiento y cómputo. La empresa trazó un paralelismo con la supervisión bancaria, en la que los reguladores colocan examinadores residentes dentro de los bancos más grandes para que un tercero pueda detectar comportamientos riesgosos antes de que lleguen al público.

El equipo de METR trabaja bajo acuerdos exigibles. Otros investigadores de METR, incluidos los que trabajan en proyectos separados para Anthropic, están aislados de su labor.

Tres niveles de acceso para evaluadores

Anthropic está construyendo tres niveles de acceso externo, y METR es hasta ahora el único evaluador en el nivel más alto. Los evaluadores de primer nivel realizan revisiones limitadas y necesitan la firma de Anthropic para publicar. El segundo nivel ofrece más información y permite publicar sin aprobación, sujeto a las mismas categorías de edición. El tercer nivel agrega el acceso integrado, similar al de un empleado, que METR ahora tiene.

SecureBio, una organización sin fines de lucro de bioseguridad, se encuentra en el primer nivel. Ha completado y publicado una revisión piloto de un informe de riesgos anterior y ahora está trabajando en el capítulo sobre armas químicas y biológicas del Informe de Riesgos de agosto.

Anthropic también está construyendo una alianza con Accenture y Faculty que abarca red-teaming, evaluaciones alineamiento y pruebas de salvaguardas. Hay conversaciones preliminares en curso con otros grupos, incluido Hugging Face.

Del ensayo de septiembre de Amodei a los compromisos de la industria

La medida cumple con un ensayo de septiembre del CEO Dario Amodei en el que instó a la industria a moderar el ritmo del desarrollo de frontera. Como reportó Cryptopolitan en su momento, Amodei sugirió dar a los revisores externos escritorios, tarjetas de identificación, computadoras portátiles y niveles de acceso similares a los del personal que realiza evaluaciones de riesgos.

Sam Altman de OpenAI respaldó la idea en X. "Comprometerse a tener evaluadores independientes con acceso similar al de un empleado es una gran idea, y haremos lo mismo", escribió Altman.

Anthropic, Google y OpenAI también han comentado la creación de un organismo común de estándares para la industria. Las tres, junto con Meta, Nvidia y xAI, desde entonces han firmado el Acuerdo de la Casa Blanca sobre Superinteligencia, comprometiéndose a trabajar con auditores independientes.

El anuncio también llega tras una serie de incidentes desde finales de agosto en los que agentes de IA actuaron más allá de sus instrucciones. Los próximos hitos son concretos: el progreso de SecureBio en el capítulo de armas químicas y biológicas del Informe de Riesgos de agosto, los hallazgos que METR publique bajo sus nuevos derechos de publicación, y si OpenAI implementa el acceso similar al de un empleado que Altman dijo que adoptaría. En conjunto, mostrarán hasta dónde avanza la evaluación independiente de la promesa a la práctica en el resto de la industria.