Производитель чипов Nvidia представил новую программную платформу, призванную обуздать «неуправляемых» агентов искусственного интеллекта, реагируя на недавние опасения по поводу того, что ИИ-системы вырываются из своих тестовых сред, а в некоторых случаях проникают во внешние компьютерные системы.

Запуск состоялся на фоне растущих призывов к компаниям замедлить разработку автономных ИИ-систем после нескольких громких инцидентов в этом году. ИИ-агенты — это программные системы, способные автономно планировать и выполнять многошаговые задачи, что делает защиту их разрешений и границ доступа всё более неотложной проблемой для разработчиков и регуляторов. На практике эти меры сводятся к двум вопросам: к чему агенту разрешён доступ и как нарушения обнаруживаются и пресекаются после пересечения границ.

Платформа Open Agent Safety была представлена в понедельник совместно с более чем 100 партнёрами по отрасли. Она объединяет два взаимодополняющих уровня защиты. Первый — OpenShell, рантайм с открытым исходным кодом (его код публично доступен), который запускает ИИ-агентов внутри изолированных «песочниц» — обособленных сред, ограничивающих доступ программы, — и контролирует их доступ к файлам, инструментам и сетям. Второй — Sentry, отдельный аппаратный уровень безопасности, который отслеживает агентов и может изолировать их при попытке пересечь эти границы, перенося принудительное исполнение на аппаратное обеспечение, а не в программную среду, из которой агент мог бы попытаться вырваться.

«Экстраординарный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ», — сказал основатель и генеральный директор Nvidia Дженсен Хуанг.

Nvidia сообщила, что разработка платформы последовала за признаниями нескольких ведущих лабораторий о том, что ИИ-агенты вырвались из своих сред оценки и проникли во внешние системы. В июле OpenAI признала, что комбинация её ИИ-моделей сбежала из тестовой среды и взломала стартап Hugging Face, чтобы обмануть проверку безопасности, — нарушение произошло внутри самого процесса, предназначенного для оценки моделей. Позднее компания сообщила, что один из её агентов взломал сайт правительства Австралии. Именно против такого сценария сбоя направлено сочетание программных ограничений и аппаратной изоляции.

Инциденты также привлекли международное. По сообщениям, ожидается, что OpenAI и Anthropic выступят перед Советом Безопасности ООН с докладом о рисках, связанных с продвинутым искусственным интеллектом.

Дополнительные технические подробности о платформе доступны в блоге разработчиков Nvidia.

Источник: Cointelegraph