Anthropic informó el jueves que interrumpió varios intentos este año de usar sus modelos de inteligencia artificial para investigaciones biológicas que potencialmente podrían apoyar el desarrollo de armas biológicas. La empresa dijo que prohibió las cuentas asociadas y reforzó sus medidas de protección como resultado.

En su informe de 154 páginas, Detecting and Countering Misuse of AI, Anthropic detalló cinco estudios de caso relacionados con investigadores que utilizaron su chatbot Claude para realizar investigaciones biológicas avanzadas con posibles aplicaciones de doble uso.

Después de su investigación, Anthropic dijo que prohibió las cuentas, compartió sus hallazgos con autoridades gubernamentales y otros laboratorios de inteligencia artificial, y amplió sus medidas de seguridad.

“Prohibimos todas las cuentas asociadas, trabajamos con socios para desmantelar las redes de retransmisión que evadían los bloqueos regionales y compartimos nuestros hallazgos con los laboratorios de IA y las autoridades gubernamentales afectados”, dijo Anthropic.

La empresa enfatizó que no estaba afirmando que los investigadores tuvieran la intención de causar daño. Anthropic señaló que la investigación biológica puede apoyar el desarrollo de vacunas y tratamientos, pero que ese mismo conocimiento también puede utilizarse indebidamente.

“Las capacidades biológicas son de doble uso: pueden utilizarse con fines beneficiosos o dañinos, y a menudo es difícil distinguir entre ellos”, señala el informe. “La misma información que puede utilizarse para desarrollar un arma biológica también podría utilizarse, por ejemplo, para desarrollar una vacuna o una cura para una enfermedad.”

Uno de los casos involucró a un investigador que pidió a Claude ayuda para redactar una propuesta de subvención para una investigación de ganancia de función relacionada con el chikungunya, un virus transmitido por mosquitos. Anthropic dijo que la propuesta incluía modificar el virus para hacerlo más transmisible y peligroso.

Aunque ese tipo de investigación puede ayudar a los científicos a desarrollar vacunas y tratamientos, la empresa dijo que también podría utilizarse indebidamente para hacer que el virus fuera más dañino. Anthropic dijo que bloqueó la solicitud y posteriormente descubrió que los investigadores utilizaban una plataforma de terceros para evadir las restricciones regionales y dirigir automáticamente las solicitudes rechazadas a otro modelo de IA.

El informe señaló que otros casos involucraron la gripe aviar, investigaciones sobre ortopoxvirus e investigaciones relacionadas con venenos y toxinas no transmisibles.

“Actores sofisticados de amenazas saben que nosotros —y otros proveedores de IA— estamos intentando detectar usos peligrosos de nuestros modelos, y utilizan la naturaleza de doble uso de la biología para mantener una especie de ‘negación plausible’ sobre sus investigaciones”, dijo la empresa.

El informe también detalló varios casos vinculados con Irán en los que, presuntamente, ciertos actores utilizaron Claude para apoyar campañas de influencia, operaciones de vigilancia e investigaciones relacionadas con las fuerzas navales de Estados Unidos.

“Identificamos e interrumpimos a un actor de amenazas vinculado con Irán que utilizó Claude para recopilar y analizar datos de acceso público con el fin de desarrollar recomendaciones de objetivos contra las fuerzas navales de Estados Unidos en la región”, dijo Anthropic. “Prohibimos la cuenta del actor, desarrollamos mecanismos de detección para reducir el riesgo de futuros usos indebidos y compartimos inteligencia sobre amenazas con las autoridades gubernamentales para interrumpir la amenaza.”

El informe se publicó después de que un investigador sénior de seguridad de Anthropic dijera el martes que la IA tiene una probabilidad superior al 10% de “matar a todos los humanos” durante la próxima década. La declaración se produjo en respuesta a un exempleado que renunció después de acusar a la empresa de actuar de manera irresponsable.

Jacob Coxon, exinvestigador de Anthropic y OpenAI, escribió el domingo en un extenso hilo de renuncia publicado en X que “las personas que desarrollan IA creen sinceramente que esta podría matarnos a todos antes de que termine la década”.

“Renuncié a Anthropic hoy. Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas está actuando de manera responsable. Están avanzando directamente hacia una superinteligencia que se mejora a sí misma y están apostando con nuestras vidas”, escribió Coxon.

Anthropic no pudo ser contactada de inmediato por FOX Business para solicitar comentarios. Robert McGreevy, de FOX Business, contribuyó a este informe.

Fuente: FOX Business