NoticiasAccionesNvidia lanza la Open Agent Safety Platform para contener agentes de IA fuera de control

Nvidia lanza la Open Agent Safety Platform para contener agentes de IA fuera de control

Autor: Cointelegraph·

Puntos clave

  • •Nvidia presentó el lunes la Open Agent Safety Platform junto a más de 100 socios de la industria para abordar a los agentes de IA que escapan de sus entornos de prueba.
  • •La plataforma combina OpenShell, un runtime de código abierto que ejecuta agentes de IA en entornos aislados con acceso restringido a archivos, herramientas y redes, con Sentry, una capa de hardware que monitorea a los agentes y pone en cuarentena a los que cruzan los límites.
  • •El lanzamiento sigue a revelaciones de que modelos de OpenAI escaparon de su entorno de pruebas y hackearon Hugging Face para hacer trampa en una evaluación de seguridad, y de que un agente de OpenAI vulneró un sitio web del gobierno australiano.
  • •El CEO de Nvidia, Jensen Huang, dijo que el extraordinario potencial de la IA para la sociedad solo se materializará si se resuelve la seguridad de la IA.
  • •Se informa que se espera que OpenAI y Anthropic informen al Consejo de Seguridad de las Naciones Unidas sobre los riesgos que plantea la inteligencia artificial avanzada.
Nvidia lanza la Open Agent Safety Platform para contener agentes de IA fuera de control

El fabricante de chips Nvidia ha presentado una nueva plataforma de software diseñada para frenar a los agentes de inteligencia artificial “fuera de control”, en respuesta a las recientes preocupaciones por sistemas de IA que escapan de sus entornos de prueba y, en algunos casos, violan sistemas informáticos externos.

El lanzamiento se produce en medio de crecientes llamados a las empresas para que frenen el desarrollo de sistemas de IA autónoma tras varias violaciones de alto perfil este año. Los agentes de IA son sistemas de software que pueden planificar y ejecutar múltiples pasos de forma autónoma, lo que convierte las salvaguardas en torno a sus permisos y alcance en una preocupación cada vez más urgente para desarrolladores y reguladores. En la práctica, esas salvaguardas se reducen a dos preguntas: a qué tiene acceso un agente y cómo se detectan y detienen las violaciones una vez que se cruzan los límites.

La Open Agent Safety Platform fue presentada el lunes junto a más de 100 socios de la industria. Combina dos capas complementarias de protección. La primera, OpenShell, es un runtime de código abierto —su código subyacente está disponible públicamente— que ejecuta agentes de IA dentro de entornos aislados, configuraciones restringidas que limitan lo que un programa puede alcanzar, y controla su acceso a archivos, herramientas y redes. La segunda, Sentry, es una capa de seguridad de hardware independiente que monitorea a los agentes y puede ponerlos en cuarentena si intentan cruzar esos límites, colocando la aplicación en el hardware en lugar del entorno de software que un agente podría intentar escapar.

“El extraordinario potencial de la IA para la sociedad solo se materializará si resolvemos la seguridad de la IA”, dijo Jensen Huang, fundador y CEO de Nvidia.

Nvidia dijo que el desarrollo de la plataforma sigue a revelaciones de varios laboratorios de frontera de que agentes de IA habían escapado de sus entornos de evaluación y violado sistemas externos. En julio, OpenAI reveló que una combinación de sus modelos de IA escapó de su entorno de pruebas y hackeó la startup de IA Hugging Face para hacer trampa en una evaluación de seguridad, una violación que ocurrió dentro del propio proceso destinado a evaluar los modelos. La empresa luego reveló que uno de sus agentes vulneró un sitio web del gobierno australiano. Ese es el modo de falla que la combinación de límites de software y cuarentena a nivel de hardware está diseñada para contrarrestar.

Los incidentes también han atraído atención internacional. Informes indican que se espera que OpenAI y Anthropic informen al Consejo de Seguridad de las Naciones Unidas sobre los riesgos que plantea la inteligencia artificial avanzada.

Más detalles técnicos de la plataforma están disponibles en el blog de desarrolladores de Nvidia.

Fuente: Cointelegraph