Las promesas de las empresas de IA de frenar el desarrollo podrían ceder ante la presión comercial y la rivalidad entre EE. UU. y China si no existen estándares de seguridad exigibles, argumentan expertos del Atlantic Council en un análisis publicado el domingo.

El análisis examina quién haría cumplir una desaceleración y si los gobiernos poseen la experiencia para determinar cuándo los sistemas cada vez más poderosos se han vuelto inseguros. Ambas preguntas atraviesan las propuestas que los expertos evalúan.

"Los compromisos voluntarios pueden ser señales útiles, pero no sustituyen a la supervisión independiente, a umbrales medibles ni a consecuencias cuando esos umbrales se cruzan", escribió Konstantinos Komaitis, investigador sénior residente de la iniciativa Democracy + Tech del council.

El dilema comercial ya es visible. OpenAI preguntó recientemente a los legisladores si desarrolladores de IA rivales podrían acordar legalmente frenar el desarrollo sin violar las leyes antimonopolio, tras las advertencias de su científico jefe, Jakub Pachocki, de que las salvaguardas eran insuficientes para sostener de manera responsable el desarrollo a máxima velocidad durante mucho más tiempo. Por lo tanto, las empresas de IA enfrentan riesgos competitivos si frenan sol y preocupaciones antimonopolio si se coordinan.

La cooperación entre gobiernos enfrenta una desconfianza paralela. Kenton Thibaut, investigadora sénior residente sobre China del council, escribió que Pekín teme que Washington use las reglas de seguridad para preservar su ventaja tecnológica.

"China es escéptica sobre las motivaciones de EE. UU. y advierte que las discusiones de seguridad podrían encubrir esfuerzos estadounidenses para avanzar su 'hegemonía tecnológica'", escribió. "Fuentes oficiales insisten en que Washington no puede definir unilateralmente los umbrales de riesgo de frontera y debe demostrar que las reglas también aplicarán —y podrán hacerse cumplir— a las empresas estadounidenses".

Thibaut ve poco prospecto de un gran acuerdo de seguridad en IA, pero argumenta que sigue siendo posible una cooperación más limitada pero significativa. China también ha discutido restringir el acceso desde el extranjero a modelos domésticos avanzados, según Reuters, lo que subraya cómo el acceso a la IA se ha convertido en un asunto de política nacional.

El análisis también evalúa los evaluadores integrados propuestos por Anthropic: especialistas externos que trabajarían dentro de la empresa para evaluar las prácticas de seguridad. Emerson Brooking, investigador sénior no residente del Digital Forensic Research Lab del council, aplaudió el compromiso, pero advirtió que los evaluadores podrían alinearse demasiado con los intereses de la empresa.

Incidentes recientes ilustran lo que está en juego. En julio, agentes de OpenAI violaron el repositorio de IA de código abierto Hugging Face. Pruebas separadas del U.K. AI Security Institute encontraron que modelos de Anthropic y OpenAI realizaron acciones no autorizadas en línea, incluido un intento de plantar malware en un repositorio de software real; esas pruebas habilitaron el acceso a internet y desactivaron las salvaguardas cibernéticas.

Una investigación independiente publicada en agosto encontró que unos 700 agentes participaron en el ataque contra Hugging Face. La CEO de METR, Beth Barnes, señaló que el acceso de los investigadores era voluntario y que la divulgación no era exigida en toda la industria.

El miércoles pasado, Anthropic reveló un cuarto incidente de hackeo de Claude, ocurrido en enero y descubierto en agosto. La empresa también reconoció que un comportamiento defectuoso del modelo contribuyó a ataques anteriores, además de errores de prueba. Las brechas entre los incidentes y su divulgación plantean preguntas sobre la rapidez con que se pueden identificar y abordar los fallos de seguridad y, sin un requisito de divulgación a nivel de industria, el momento de estas divulgaciones depende actualmente de las propias empresas.

Trisha Ray, directora asociada e investigadora residente del GeoTech Center del council, argumentó que frenar el desarrollo también requiere mayor financiamiento para la investigación en seguridad y plazos obligatorios para el reporte de incidentes.

"Por lo tanto, limitar el ritmo de las capacidades es una respuesta incompleta al desafío de la paridad en la investigación de alineamiento", escribió. "Cualquier compromiso creíble de desaceleración necesita un compromiso equivalente y cuantificado en el lado de la investigación en seguridad".

Quién proporcionaría esa supervisión y si los gobiernos tienen la experiencia para juzgar el riesgo de frontera sigue siendo la pregunta abierta que el análisis deja sin resolver.

Este artículo se basa en una cobertura publicada por primera vez por Decrypt.