NoticiasCriptoLíderes de la industria lanzan la Open Secure AI Alliance para la seguridad y protección de la IA

Líderes de la industria lanzan la Open Secure AI Alliance para la seguridad y protección de la IA

Autor: NVIDIA Blog·

Puntos clave

  • La Open Secure AI Alliance busca ayudar a los defensores a corregir y divulgar vulnerabilidades mediante tecnologías abiertas.
  • La alianza sostiene que los modelos y harnesses abiertos brindan transparencia, control y la capacidad de evitar puntos únicos de falla.
  • Un incidente de seguridad de Hugging Face mostró que herramientas cerradas bloquearon el trabajo forense, lo que llevó a la empresa a usar un modelo de pesos abiertos para analizar más de 17,000 acciones.
  • NVIDIA, HPE, Hugging Face, IBM, Red Hat, Microsoft y SpaceXAI están entre los socios fundadores que aportan a la alianza.
  • El artículo insta a los responsables de políticas a ver las herramientas abiertas de seguridad de IA como un activo defensivo e invertir en infraestructura abierta compartida para la defensa de la IA.
Líderes de la industria lanzan la Open Secure AI Alliance para la seguridad y protección de la IA

El software de código abierto es un pilar fundamental de la economía global. Sostiene la computación en la nube, los servicios financieros, la manufactura, las telecomunicaciones, el gobierno y los servicios de internet al hacer que la tecnología sea accesible y observable para comunidades de expertos.

La ciberseguridad se encuentra entre los tres principales beneficiarios del software de código abierto. La Open Secure AI Alliance, basada en el liderazgo de la iniciativa Akrites de la Linux Foundation y el trabajo comunitario de OpenSSF, trabajará para corregir y divulgar vulnerabilidades mediante tecnologías abiertas. A medida que los sistemas de IA se incorporan cada vez más al software y a las operaciones de seguridad, la pregunta ya no es solo cuán potentes son estas herramientas, sino si los defensores pueden inspeccionarlas, probarlas y adaptarlas con suficiente rapidez para seguir el ritmo de las amenazas del mundo real.

Así como el código abierto creó una base compartida para el software, Estados Unidos y sus socios se enfrentan ahora a una decisión en materia de seguridad de IA: si las defensas que protegen nuestra infraestructura estarán dentro de unos pocos sistemas opacos o se construirán sobre modelos, harnesses y herramientas abiertos que cualquier defensor pueda estudiar, adaptar y desplegar.

El mundo necesita tanto modelos cerrados como abiertos. Para la ciberseguridad, los modelos abiertos y los harnesses abiertos son esenciales porque democratizan las capacidades defensivas, aumentan la transparencia para los defensores, permiten la defensa cibernética mientras protegen los datos y complementan los modelos cerrados de frontera con controles personalizables y localizados. El código abierto permite una defensa enormemente distribuida, impulsada por la comunidad y autogestionada, sin un único punto de falla.

Los modelos abiertos, como cualquier tecnología poderosa, pueden ser mal utilizados —incluidos intentos de debilitar las salvaguardas o reutilizar capacidades para ataques cibernéticos—, pero esos riesgos no son exclusivos de los sistemas abiertos y deben gestionarse allí donde se despliegue IA avanzada.

El reciente incidente de seguridad de Hugging Face dejó una advertencia clara: los defensores cibernéticos necesitan sistemas agentivos abiertos y de frontera para autodefensa. Cuando herramientas de IA cerradas, incapaces de distinguir entre atacantes y defensores, bloquearon el análisis forense esencial, Hugging Face ejecutó el modelo GLM 5.2 de pesos abiertos en su propia infraestructura para analizar más de 17,000 acciones y contener la intrusión.

Ese incidente mostró una verdad práctica: cuando los defensores no pueden inspeccionar, adaptar y ejecutar IA avanzada en su propia infraestructura, su capacidad de respuesta queda limitada justo en el momento en que la velocidad importa más. Las empresas y los países necesitan herramientas y técnicas defensivas abiertas de frontera para que las industrias críticas puedan construir sistemas de seguridad en un ecosistema multivendor y evitar puntos únicos de falla.

Esa es la misión de la Open Secure AI Alliance: garantizar que los defensores de todo el mundo dispongan de herramientas abiertas y de frontera en las que puedan confiar y que puedan controlar.

Líderes de la computación en la nube, la ciberseguridad, el software empresarial, las fundaciones de código abierto y la investigación en IA —incluidos NVIDIA, Adobe, Cadence, Capital One, Cisco, Cloudera, Cloudflare, Cognition, CrowdStrike, Databricks, Dell Technologies, DoorDash, Elastic, HPE, Hugging Face, IBM, LangChain, la Linux Foundation, Microsoft, NAVER, NetApp, Nous Research, OpenClaw, Palantir, Palo Alto Networks, Red Hat, Reflection AI, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpacexAI, Synopsys, Thinking Machines Lab y TrendAI— son socios fundadores de la Open Secure AI Alliance, un movimiento para desarrollar y compartir tecnologías, técnicas y herramientas abiertas que protejan el software y los agentes en la era de la IA.

Algunos sostienen que los modelos abiertos son intrínsecamente menos seguros porque pueden usarse indebidamente para ciberataques o modificarse para eliminar barreras de protección. Esos riesgos son reales, pero no desaparecen en los sistemas cerrados, y mantener los pesos cerrados no impide que atacantes determinados busquen o exploten IA poderosa.

La respuesta correcta no es negar a los defensores el acceso a sistemas abiertos capaces. Es combinar la apertura con salvaguardas sólidas, reglas claras contra el uso malicioso, evaluaciones rigurosas y remediación rápida. En ciberseguridad, el camino más seguro es el que da a más defensores la capacidad de probar, verificar y fortalecer los sistemas de los que depende la sociedad.

Los defensores necesitan tanto modelos cerrados de frontera como modelos abiertos de frontera, trabajando juntos, para poder elegir el sistema adecuado para cada tarea y garantizar que la transparencia, la adaptación y el control soberano estén disponibles dondequiera que la seguridad los requiera.

La investigación abierta mejora la ciberseguridad y la seguridad de la IA

Un agente de IA no es solo un modelo de lenguaje. Es un sistema complejo construido a partir de modelos, harnesses y barreras de protección.

La seguridad y la protección reales de la IA dependen de toda la pila del agente —identidad, permisos, harnesses, barreras de protección, registros y evaluación—, no solo de si los pesos del modelo son abiertos o cerrados. Los harnesses y herramientas abiertos hacen que esos controles sean más fáciles de inspeccionar, probar y mejorar para muchos defensores.

NVIDIA está aportando modelos abiertos, pesos de modelo, datos e investigación sobre nuevos harnesses de agentes a la Open Secure AI Alliance para acelerar el desarrollo de nuevas herramientas y técnicas de ciberseguridad.

El nuevo proyecto de código abierto NVIDIA Labs Object-Oriented Agent (NOOA) ya está disponible en GitHub para hacer que las capacidades avanzadas de seguridad de IA sean más accesibles para los harnesses de agentes. El marco de investigación NOOA permite que los harnesses se integren mejor con los modelos para que el comportamiento de los agentes sea más fácil de probar, rastrear, auditar y gobernar.

En toda la alianza, los participantes están construyendo una pila defensiva abierta para agentes —desde identidad y aislamiento hasta formatos de modelo seguros, análisis multmodelo y flujos de trabajo de codificación segura.

HPE contribuye a SPIFFE/SPIRE, que crea estándares y métodos de marco de identidad de confianza cero capaces de verificar criptográficamente agentes y servicios de IA para garantizar que solo las cargas de trabajo autorizadas se comuniquen y accedan a los recursos empresariales.

Hugging Face ha ofrecido Safetensors —un formato seguro para almacenar pesos de modelos de IA, que proporciona transparencia y garantías de que no hay ejecución remota de código— a la PyTorch Foundation.

Lightwell de IBM y Red Hat amplía la seguridad a lo largo de la cadena de suministro de código abierto con parches firmados digitalmente.

El harness de análisis agentivo multmodelo MDASH de Microsoft orquesta agentes de IA especializados para descubrir, debatir y demostrar errores explotables.

SpaceXAI ha liberado como código abierto Grok Build, el agente de codificación de IA basado en terminal, para promover la confianza, la transparencia y nuevas capacidades, y planea abrir los pesos de la línea de modelos Grok para apoyar a las comunidades de desarrolladores e investigación.

Un llamado a legisladores y reguladores

A medida que legisladores y reguladores abordan la seguridad de la IA, será crucial reconocer a los modelos abiertos, los harnesses y las herramientas de seguridad como activos defensivos, no como pasivos, en las políticas de IA y ciberseguridad. Las restricciones generales sobre los sistemas abiertos de IA de frontera debilitarían la capacidad defensiva y correrían el riesgo de concentrar poder, dependencia y vulnerabilidad en unos pocos proveedores cerrados.

Las empresas y los gobiernos deberían invertir en infraestructura abierta compartida para la defensa de la IA —conjuntos de datos, marcos de evaluación, simuladores de ataques y herramientas de red teaming—, del mismo modo que generaciones anteriores invirtieron en software de código abierto.

El futuro que debemos construir

La era de los agentes de IA puede ser una era de resiliencia y seguridad compartida. Con las decisiones correctas, los sistemas abiertos y seguros de IA pueden dar a los defensores las herramientas que necesitan, fortalecer la competencia, ampliar el liderazgo tecnológico y garantizar que la seguridad de esta tecnología extraordinaria se construya de forma abierta para todos.

Ese futuro no se asegurará suponiendo que el secreto por sí solo equivale a seguridad. Se asegurará construyendo sistemas lo suficientemente fuertes para resistir el escrutinio, lo suficientemente flexibles para mejorar y lo suficientemente abiertos para movilizar a toda la comunidad de defensores.

Ese futuro vale la pena construirlo —y la Open Secure AI Alliance invita a gobiernos, industria e investigadores a sumarse al trabajo de defender juntos la era de la IA.

Obtenga más información o manifieste su interés en unirse a la Open Secure AI Alliance.