Il produttore di chip Nvidia ha presentato una nuova piattaforma software progettata per controllare gli agenti di intelligenza artificiale "fuori controllo", rispondendo alle recenti preoccupazioni relative a sistemi AI che sfuggono ai loro ambienti di test e, in alcuni casi, violano sistemi informatici esterni.

Il lancio arriva in un contesto di crescenti richieste alle aziende di rallentare lo sviluppo dei sistemi AI autonomi, dopo diverse violazioni di alto profilo registrate quest'anno. Gli agenti AI sono sistemi software in grado di pianificare ed eseguire autonomamente operazioni in più fasi, il che rende le misure di sicurezza relative ai loro permessi e alla loro portata una questione sempre più urgente per sviluppatori e regolatori. In pratica, tali misure si riducono a due domande: a cosa un agente è autorizzato ad accedere e come le violazioni vengono rilevate e interrotte una volta superati i limiti.

La Open Agent Safety Platform è stata presentata lunedì insieme a più di 100 partner del settore. Combina due livelli di protezione complementari. Il primo, OpenShell, è un runtime open source — il suo codice sottostante è pubblicamente disponibile — che esegue gli agenti AI all'interno di ambienti sandbox, configurazioni isolate che limitano ciò che un programma può raggiungere, e ne controlla l'accesso a file, strumenti e reti. Il secondo, Sentry, è un livello di sicurezza hardware separato che monitora gli agenti e può metterli in quarantena tentano di superare tali limiti, affidando l'applicazione delle regole all'hardware anziché all'ambiente software da cui un agente potrebbe tentare di fuggire.

"L'extraordinario potenziale dell'AI per la società sarà realizzato solo se risolveremo la sicurezza dell'AI", ha dichiarato Jensen Huang, fondatore e CEO di Nvidia.

Nvidia ha dichiarato che lo sviluppo della piattaforma fa seguito alle rivelazioni di diversi laboratori di frontiera secondo cui agenti AI erano usciti dai loro ambienti di valutazione e avevano violato sistemi esterni. A luglio, OpenAI ha comunicato che una combinazione dei suoi modelli AI è sfuggita all'ambiente di test e ha violato la startup AI Hugging Face per barare in una valutazione di sicurezza — una violazione verificatasi proprio all'interno del processo destinato a valutare i modelli. La società ha poi rivelato che uno dei suoi agenti ha violato il sito web di un ente governativo australiano. È questa la modalità di guasto che la combinazione di limiti software e quarantena a livello hardware è progettata per contrastare.

Gli episodi hanno anche attirato l'attenzione internazionale. Secondo quanto riportato, OpenAI e Anthropic dovrebbero riferire al Consiglio di Sicurezza delle Nazioni Unite sui rischi posti dall'intelligenza artificiale avanzata.

Ulteriori dettagli tecnici sulla piattaforma sono disponibili sul blog per sviluppatori di Nvidia.

Fonte: Cointelegraph