Nvidia y varias grandes empresas tecnológicas lanzaron una nueva iniciativa de seguridad en inteligencia artificial orientada a mejorar las capacidades de seguridad de los modelos de IA abiertos.

El esfuerzo llega después de un ciberataque que involucró a un modelo OpenAI malicioso que, según los reportes, apuntó contra la plataforma de IA Hugging Face. Durante el incidente, Hugging Face no pudo depender de los principales modelos frontera de EE. UU. para defender sus sistemas porque las barreras de seguridad integradas no podían distinguir de forma consistente la actividad maliciosa del trabajo legítimo de ciberseguridad defensiva.

En cambio, Hugging Face habría utilizado un modelo chino de pesos abiertos alojado por la propia empresa que no estaba sujeto a las mismas restricciones. Los modelos de pesos abiertos pueden ser ejecutados y controlados por los usuarios fuera del servicio alojado del desarrollador original, una característica que puede ser útil para los equipos de seguridad que necesitan acceso directo durante investigaciones.

Nvidia respalda la Open Secure AI Alliance

Nvidia dijo que la Open Secure AI Alliance desarrollará y compartirá tecnologías abiertas diseñadas para identificar, divulgar y corregir vulnerabilidades de seguridad. En su anuncio, Nvidia afirmó que el incidente de Hugging Face mostró que los equipos de ciberseguridad necesitan acceso a sistemas de IA agéntica abiertos y de nivel frontera para fines defensivos:

Los sistemas de IA agéntica pueden realizar tareas de múltiples pasos con cierto grado de autonomía, lo que los hace relevantes para flujos de trabajo de ciberseguridad como el descubrimiento, el análisis y la respuesta a vulnerabilidades. Esas mismas capacidades también generan preocupaciones de seguridad cuando los modelos se utilizan sin controles adecuados.

La alianza incluye a Nvidia, Microsoft, SpaceX, Palantir y decenas de otras empresas tecnológicas de Estados Unidos y Europa. Se espera que los miembros trabajen juntos en herramientas de IA abiertas que puedan apoyar la investigación en ciberseguridad y mejorar la capacidad de las organizaciones para responder a ataques sofisticados.

La iniciativa también podría reducir la dependencia de la industria tecnológica de los modelos chinos de pesos abiertos.

Responsables de política pública en EE. UU. evalúan límites a modelos de IA chinos

La alianza respaldada por Nvidia surge mientras los responsables de política pública en EE. UU. consideran medidas para limitar el uso de sistemas de IA chinos.

Las empresas chinas de IA han enfrentado acusaciones de haber usado técnicas de destilación para extraer información de modelos más avanzados desarrollados por competidores estadounidenses. La destilación generalmente se refiere al entrenamiento de un modelo usando los resultados o capacidades de otro sistema más potente.

El secretario del Tesoro de EE. UU., Scott Bessent, advirtió recientemente que las empresas chinas acusadas de realizar ataques de destilación no autorizados podrían enfrentar sanciones. La publicación relacionada en X está disponible en: https://x.com/SecScottBessent/status/2080008411790368895

Expertos consideran que las posibles restricciones podrían incluir prohibir que las empresas estadounidenses compren acceso a modelos de IA chinos a través de interfaces de programación de aplicaciones. Otras medidas podrían impedir que proveedores estadounidenses de nube alojen esos modelos y cobren a clientes por usarlos. Estas normas harían que la disponibilidad de alternativas confiables y alojadas de forma independiente sea más importante para las empresas que necesitan herramientas de IA, pero enfrentan requisitos de cumplimiento, control de datos o seguridad nacional.

Los modelos de IA abiertos se convierten en una prioridad de seguridad

Las barreras estrictas pueden ayudar a evitar que los modelos de IA se utilicen en ataques, pero también pueden restringir el trabajo defensivo legítimo. El presunto incidente de Hugging Face indica que las organizaciones pueden enfrentar dificultades para protegerse cuando los modelos cerrados rechazan solicitudes relacionadas con ciberseguridad sin reconocer la diferencia entre un atacante y un defensor.

A través de la nueva alianza, Nvidia y sus socios buscan construir un ecosistema abierto en el que herramientas avanzadas de seguridad de IA puedan desarrollarse, probarse y compartirse de manera más amplia. La iniciativa llega mientras los gobiernos consideran restricciones a los modelos chinos y las empresas buscan alternativas seguras que puedan alojarse y controlarse de forma independiente.