Nvidia и несколько крупных технологических компаний запустили новую инициативу по безопасности искусственного интеллекта, направленную на улучшение возможностей безопасности открытых моделей ИИ.

Инициатива последовала за кибератакой с участием неконтролируемой модели OpenAI, которая, как сообщается, была нацелена на ИИ-платформу Hugging Face. Во время инцидента Hugging Face не смогла полагаться на ведущие передовые модели США для защиты своих систем, поскольку встроенные защитные ограничения не могли стабильно отличать вредоносную активность от легитимной оборонительной работы в сфере кибербезопасности.

Вместо этого Hugging Face, как сообщается, использовала самостоятельно размещенную китайскую модель с открытыми весами, на которую не распространялись те же ограничения. Модели с открытыми весами могут запускаться и контролироваться пользователями за пределами размещенного сервиса первоначального разработчика, что может быть полезно для команд безопасности, которым требуется прямой доступ во время расследований.

Nvidia поддерживает Open Secure AI Alliance

Nvidia заявила, что Open Secure AI Alliance будет разрабатывать и распространять открытые технологии, предназначенные для выявления, раскрытия и исправления уязвимостей безопасности. В своем объявлении Nvidia сообщила, что инцидент с Hugging Face показал: командам кибербезопасности для оборонительных целей необходим доступ к открытым агентным системам ИИ передового уровня:

Агентные системы ИИ могут выполнять многоэтапные задачи с определенной степенью автономности, что делает их применимыми к рабочим процессам кибербезопасности, таким как обнаружение уязвимостей, анализ и реагирование. Эти же возможности также вызывают опасения в сфере безопасности, когда модели используются без надлежащих средств контроля.

В альянс входят Nvidia, Microsoft, SpaceX, Palantir и десятки других технологических компаний из США и Европы. Ожидается, что участники будут совместно работать над открытыми ИИ-инструментами, которые смогут поддерживать исследования в области кибербезопасности и улучшать способность организаций реагировать на сложные атаки.

Инициатива также может снизить зависимость технологической отрасли от китайских моделей ИИ с открытыми весами.

Политики США оценивают ограничения для китайских моделей ИИ

Поддерживаемый Nvidia альянс создается в момент, когда американские политики рассматривают меры по ограничению использования китайских систем ИИ.

Китайские ИИ-компании столкнулись с обвинениями в использовании методов дистилляции для извлечения информации из более продвинутых моделей, разработанных конкурентами из США. Под дистилляцией обычно понимается обучение одной модели с использованием выходных данных или возможностей другой, более мощной системы.

Министр финансов США Scott Bessent недавно предупредил, что китайские компании, обвиняемые в проведении несанкционированных атак с применением дистилляции, могут столкнуться с санкциями. Соответствующая публикация в X доступна по адресу: https://x.com/SecScottBessent/status/2080008411790368895

Эксперты считают, что возможные ограничения могут включать запрет для американских компаний на покупку доступа к китайским моделям ИИ через интерфейсы прикладного программирования. Другие меры могут запретить американским облачным провайдерам размещать такие модели и взимать с клиентов плату за их использование. Такие правила сделают наличие надежных, независимо размещаемых альтернатив более важным для компаний, которым нужны ИИ-инструменты, но которые сталкиваются с требованиями в сфере комплаенса, контроля данных или национальной безопасности.

Открытые модели ИИ становятся приоритетом безопасности

Строгие защитные ограничения могут помочь предотвратить использование моделей ИИ в атаках, но они также могут ограничивать легитимную оборонительную работу. Сообщения об инциденте с Hugging Face указывают на то, что организациям может быть трудно защищать себя, когда закрытые модели отклоняют запросы, связанные с кибербезопасностью, не распознавая разницу между атакующим и защитником.

Через новый альянс Nvidia и ее партнеры стремятся создать открытую экосистему, в которой передовые инструменты безопасности на базе ИИ смогут разрабатываться, тестироваться и распространяться более широко. Инициатива появляется на фоне рассмотрения правительствами ограничений для китайских моделей и поиска бизнесом безопасных альтернатив, которые можно размещать и контролировать самостоятельно.