Con la apertura de la conferencia anual Black Hat en Las Vegas, la Open Secure AI Alliance —ahora compuesta por más de 120 organizaciones— está avanzando en nuevas directrices y tecnologías de código abierto orientadas a fortalecer la ciberseguridad de los sistemas de IA agentiva, sistemas de IA capaces de perseguir objetivos de forma autónoma, seleccionar y utilizar herramientas, e interactuar con aplicaciones y datos externos.

La Linux Foundation ha publicado una Solicitud de Comentarios sobre el Shared AI Findings Exchange (SAFE), un marco propuesto diseñado para transformar los incidentes de ciberseguridad agentiva en inteligencia defensiva compartida para todo el ecosistema. Las directrices SAFE están siendo desarrolladas por un grupo de trabajo de la Open Secure AI Alliance, con NVIDIA, Cisco, CrowdStrike, Hugging Face y Red Hat entre los miembros que colaboran con la Linux Foundation en la propuesta inicial. La iniciativa reúne a competidores directos —fabricantes de chips, proveedores de nube, empresas de ciberseguridad y compañías de plataformas de IA— bajo un marco común, lo que refleja la urgencia de establecer prácticas defensivas compartidas a medida que los despliegues de IA agentiva pasan de proyectos piloto a entornos de producción.

Bajo las directrices SAFE, la alianza propone recopilar y analizar de forma confidencial incidentes de IA y casi-incidentes, notificar a las partes afectadas, identificar fallas de control recurrentes y publicar recomendaciones operativas basadas en evidencia destinadas a reducir el riesgo sistémico.

El contexto general es de desafíos crecientes: cada gran cambio tecnológico introduce nuevas superficies de ataque, y los defensores deben operar a lo que la alianza describe como "velocidad de agente" para proteger la infraestructura y la propiedad intelectual. El intercambio abierto de inteligencia de amenazas dentro de ecosistemas de confianza se posiciona como un multiplicador de fuerzas para la defensa colectiva.

Los miembros de la alianza amplían un conjunto de herramientas de seguridad de pila completa

El marco SAFE complementa un cuerpo creciente de contribuciones tecnológicas de los miembros de la Open Secure AI Alliance, quienes están desarrollando y compartiendo herramientas abiertas e inspeccionables en toda la pila de seguridad de IA —desde controles de identidad y harnesses hasta guardrails, registros y sistemas de evaluación. El énfasis en el código abierto refleja un principio fundamental de la alianza: que las herramientas de seguridad que pueden ser inspeccionadas, auditadas y mejoradas de forma independiente por la comunidad son más adecuadas para generar confianza en sistemas capaces de tomar acciones autónomas.

Software y modelos de ciberseguridad abiertos de NVIDIA

Las contribuciones de NVIDIA abarcan toda la pila. El harness de investigación NVIDIA Labs Object-Oriented Agent (NOOA), disponible en GitHub, está diseñado para facilitar las pruebas, el rastreo, la auditoría y la gobernanza del comportamiento de los agentes. El runtime de NVIDIA OpenShell restringe lo que un agente puede ver y ejecutar, aplicando controles de seguridad y privacidad a nivel del agente.

Las familias de modelos abiertos de NVIDIA — Nemotron para IA agentiva, Cosmos para IA física, Isaac GR00T para robótica, BioNeMo para ciencias de la salud y biológicas, y Alpamayo, descrito como el modelo más grande del mundo para vehículos autónomos con licencia para uso comercial — se publican con pesos, conjuntos de datos y técnicas de entrenamiento abiertos.

Las habilidades de agente verificadas de código abierto de NVIDIA extienden la gobernanza a la capa de capacidades. Cada habilidad incluye conjuntos de instrucciones portátiles que se catalogan, se escanean en busca de riesgos como inyección de prompts y envenenamiento de herramientas, se firman criptográficamente y se documentan con una tarjeta de habilidades — lo que permite a los defensores verificar exactamente qué hace una habilidad, su origen y si ha sido modificada después de su publicación.

NeMo Guardrails, NeMo Anonymizer y NeMo Safe Synthesizer ayudan a aplicar políticas de seguridad, proteger datos sensibles y generar datos sintéticos que preservan la privacidad. Garak, el escáner de vulnerabilidades LLM de código abierto de NVIDIA, permite a los equipos de seguridad probar los modelos en busca de fugas de datos, inyecciones de prompts y escenarios de jailbreak antes de su despliegue.

Identidad y permisos — Quién puede actuar

Proteger la identidad de los agentes es fundamental para la pila de seguridad en general.

Okta está desarrollando implementaciones de referencia para la identidad y el acceso de agentes, demostrando cómo Cross App Access (XAA), un protocolo abierto, permite que los agentes de IA en entornos sandbox de OpenShell se conecten de forma segura a aplicaciones empresariales.

Palo Alto Networks ha contribuido con herramientas de código abierto de Idira, su plataforma de seguridad de identidad de nueva generación, incluyendo Agent Guard y Agent Watch. Estas herramientas ayudan a los desarrolladores a aplicar mejores prácticas de seguridad de identidad y salvaguardas, como la recuperación segura de secretos para flujos de trabajo agentivos.

Un nuevo proyecto de código abierto fundado por Red Hat, llamado asago, mapea los requisitos de gobernanza personalizados de una organización — haciendo referencia a marcos como NIST, OWASP y el EU AI Act — directamente a los permisos de los agentes en tiempo de ejecución, manteniendo una única pista de auditoría desde la cláusula de política hasta el control en vivo. A medida que los reguladores de todo el mundo endurecen los requisitos de gobernanza de IA, las herramientas que traducen los mandatos de políticas en controles técnicos exigibles se vuelven cada vez más críticas para las organizaciones que buscan demostrar cumplimiento.

Harnesses y herramientas — Orquestando el trabajo de seguridad

Los agentes de IA operan dentro de ecosistemas de modelos abiertos y cerrados, harnesses, herramientas y runtimes. Si un modelo funciona como el cerebro del agente, el harness sirve como el cuerpo que ejecuta acciones a través de herramientas, orquestando cómo se despliegan, coordinan y limitan los agentes.

Amazon, uno de los miembros más recientes de la Open Secure AI Alliance, contribuye con Strands Agents — un conjunto de herramientas de código abierto para construir agentes de IA que es abierto en cada capa, lo que da a los desarrolladores plena visibilidad del comportamiento del agente y la capacidad de evaluar sistemas agentivos en producción. Amazon también contribuye con Cedar, un lenguaje de autorización de código abierto que aplica límites deterministas y verificables sobre las acciones permitidas a los agentes.

Capital One ha liberado como código abierto VulnHunter para la seguridad de código de IA agentiva. Cloudflare ofrece su Vulnerability Discovery Harness como una habilidad de código abierto para sistemas de agentes.

El Microsoft AI Red Team ha liberado varias herramientas y harnesses de código abierto. PyRIT — el Python Risk Identification toolkit — permite realizar red teaming automatizado con memoria integrada, soportando objetivos comunes y endpoints personalizados. RAMPART y Clarity convierten los hallazgos de red team y los incidentes del mundo real en pruebas repetibles, y ayudan a los equipos a cuestionar supuestos de diseño antes de escribir código. Microsoft también ha liberado Assert, que convierte los requisitos en lenguaje natural y los comportamientos esperados de seguridad de IA en evaluaciones ejecutables.

Atlas, desarrollado por Wiz, es un motor de investigación de vulnerabilidades autónomo que orquesta agentes de IA especializados para descubrir y validar fallas de seguridad en código y paquetes de código abierto.

Visa, que también se ha unido a la Open Secure AI Alliance, ha aportado su Visa Vulnerability Agentic Harness de código abierto para ayudar a los equipos a identificar problemas y respaldar la remediación y validación.

Modelos — Inteligencia diseñada para la seguridad y defensa de IA

Los modelos especializados de seguridad y protección están diseñados específicamente para tareas defensivas: entrenados para comprender código, localizar vulnerabilidades y razonar sobre amenazas a escala. Pueden respaldar flujos de trabajo agentivos como sistemas de modelos, con modelos abiertos y cerrados trabajando en conjunto.

Cisco DefenseClaw es una capa de gobernanza agentiva de código abierto que opera sobre NVIDIA OpenShell, proporcionando seguridad automatizada en tiempo de ejecución al escalar fuerzas de trabajo agentivas. Cisco también ha publicado dos modelos de lenguaje pequeños de seguridad Antares diseñados para localizar vulnerabilidades conocidas dentro de bases de código, junto con Project CodeGuard para incorporar prácticas seguras por defecto en los flujos de trabajo de programación con IA.

CrowdStrike está ajustando el modelo NVIDIA Nemotron Nano para la defensa cibernética. Las pruebas internas alcanzaron una precisión del 96% en la generación de consultas de investigación dentro de Falcon LogScale, proporcionando una interfaz de lenguaje natural que mejora la eficiencia investigativa del agente. CrowdStrike también ha publicado una investigación que muestra que un modelo de razonamiento especializado NVIDIA Nemotron Nano supera a modelos mucho más grandes en el triaje de detección del Security Operations Center, al tiempo que introduce una confianza calibrada basada en logits para permitir decisiones de seguridad autónomas medibles, ajustables y auditables.

Más allá de la detección, los defensores necesitan comprender por qué actuaron los agentes, si los sistemas se comportan de manera segura y cómo evolucionan los ataques. Akamai aporta información de sus informes State of the Internet y de la investigación del Security Intelligence Group, aprovechando datos del mundo real para iluminar las amenazas de la era de la IA.

Cognition ha publicado una evaluación de confiabilidad que mide los riesgos de alineación y seguridad de los modelos derivados de código abierto, demostrando que estos riesgos pueden mitigarse mediante el post-entrenamiento.

Numbat, desarrollado por Perplexity, es un conjunto de herramientas de seguridad de agentes de código abierto para endpoints de clientes. Detecta, investiga y previene la actividad de agentes en macOS, Linux y Windows, proporcionando a los defensores un registro estructurado de las acciones de los agentes.

Uber ha liberado componentes clave de ADR (Agentic AI Detection and Response), un sistema de producción que reconstruye la cadena causal completa de la actividad del agente de IA — desde el prompt hasta el razonamiento, las llamadas a herramientas y los resultados. ADR actualmente soporta más de 200,000 sesiones de agentes por día en 30,000 endpoints, utilizando un enfoque de análisis de dos niveles que combina detección eficiente con investigación más profunda para amenazas de alta confianza.

Disponibilidad y resiliencia — Recuperación rápida cuando cada momento cuenta

Los sistemas de agentes deben seguir siendo confiables ante interrupciones, contener fallas y recuperarse de forma segura sin perder estado crítico ni exponer el entorno en general.

LangChain está agregando capacidades de resiliencia a sus marcos de código abierto — Deep Agents, LangGraph y LangChain — permitiendo que los agentes reintenten trabajos interrumpidos, sigan rutas de recuperación seguras, reanuden desde estados guardados y recurran automáticamente a modelos alternativos cuando los modelos principales fallan.

Veeam ayuda a las organizaciones a mantener resilientes y recuperables los datos y la infraestructura relacionados con IA mediante tecnologías que incluyen Kanister, su marco de código abierto para la protección de datos en Kubernetes. Kanister ayuda a los equipos a proteger y recuperar cargas de trabajo de IA, bases de datos vectoriales y datos a un estado conocido y verificado como bueno.

Se esperan contribuciones adicionales a medida que la alianza continúa creciendo. Cuando los miembros publican mitigaciones reutilizables, los defensores de todo el ecosistema pueden inspeccionarlas, adaptarlas y mejorarlas, permitiendo que las prácticas de seguridad evolucionen junto con los avances de la IA.

Se espera que los miembros de la Open Secure AI Alliance se reúnan en Black Hat el martes 4 de agosto a las 5:15 p.m. PT para una foto grupal frente al Main Stage, Business Hall del Mandalay Bay Convention Center. Puede encontrar más información sobre la alianza en la página de Open Secure AI Alliance.