НовостиКриптовалютыЛидеры отрасли создают Open Secure AI Alliance для безопасности и защиты ИИ

Лидеры отрасли создают Open Secure AI Alliance для безопасности и защиты ИИ

Автор: NVIDIA Blog·

Ключевые выводы

  • Open Secure AI Alliance создан, чтобы помогать защитникам устранять и раскрывать уязвимости с помощью открытых технологий.
  • Альянс утверждает, что открытые модели и harnesses дают защитникам прозрачность, контроль и возможность избежать единой точки отказа.
  • Инцидент в Hugging Face показал, что закрытые инструменты ИИ заблокировали форензик-работу, и компания использовала модель с открытыми весами для анализа более чем 17,000 действий.
  • Среди учредительных партнеров альянса — NVIDIA, HPE, Hugging Face, IBM, Red Hat, Microsoft и SpaceXAI.
  • В статье регуляторам предлагается рассматривать инструменты безопасности открытого ИИ как защитный актив и инвестировать в общую открытую инфраструктуру для обороны ИИ.
Лидеры отрасли создают Open Secure AI Alliance для безопасности и защиты ИИ

Программное обеспечение с открытым исходным кодом — это критически важная опора мировой экономики. Оно лежит в основе облачных вычислений, финансовых услуг, производства, телекоммуникаций, государственного сектора и интернет-сервисов, делая технологии доступными и наблюдаемыми для сообществ экспертов.

Кибербезопасность — одна из трех основных сфер, наиболее выигрывающих от ПО с открытым исходным кодом. Open Secure AI Alliance, опираясь на лидерство инициативы Akrites Linux Foundation и работу сообщества OpenSSF, будет заниматься устранением и раскрытием уязвимостей с использованием открытых технологий. По мере того как системы ИИ все глубже встраиваются в программное обеспечение и операции безопасности, вопрос уже не только в том, насколько мощны эти инструменты, но и в том, могут ли защитники достаточно быстро проверять, тестировать и адаптировать их, чтобы не отставать от реальных угроз.

Как открытый исходный код создал общую основу для программного обеспечения, так и США и их партнеры теперь сталкиваются с выбором в сфере безопасности ИИ: будут ли системы защиты инфраструктуры находиться внутри нескольких непрозрачных систем или будут построены на открытых моделях, harnesses и инструментах, которые любой защитник может изучать, адаптировать и развертывать.

Миру нужны и закрытые, и открытые модели. Для кибербезопасности открытые модели и открытые harnesses необходимы, потому что они демократизируют защитные возможности, повышают прозрачность для защитников, позволяют вести киберзащиту при сохранении данных и дополняют передовые закрытые модели настраиваемыми локализованными средствами контроля. Открытый исходный код обеспечивает массово распределенную, управляемую сообществом и самоконтролируемую защиту — без единой точки отказа.

Открытые модели, как и любая мощная технология, могут использоваться во вред — в том числе через попытки ослабить защитные механизмы или перепрофилировать возможности для кибератак, — но эти риски не уникальны для открытых систем и должны управляться везде, где развертывается продвинутый ИИ.

Недавний инцидент в Hugging Face стал наглядным напоминанием: киберзащитникам нужны открытые, передовые агентные системы для самозащиты. Когда закрытые инструменты ИИ, не способные отличать атакующих от защитников, заблокировали необходимый форензик-анализ, Hugging Face запустила у себя в инфраструктуре модель GLM 5.2 с открытыми весами, чтобы проанализировать более 17,000 действий и сдержать вторжение.

Этот инцидент показал практическую истину: когда защитники не могут проверять, адаптировать и запускать продвинутый ИИ на собственной инфраструктуре, их способность реагировать ограничена именно тогда, когда скорость наиболее важна. Компаниям и странам нужны открытые передовые защитные инструменты и методы, чтобы критически важные отрасли могли строить системы безопасности в много-вендорной экосистеме и избегать единственных точек отказа.

В этом и состоит миссия Open Secure AI Alliance: обеспечить защитникам по всему миру доступ к открытым, передовым инструментам, которым они могут доверять и которые могут контролировать.

Лидеры в области облачных вычислений, кибербезопасности, корпоративного ПО, фондов открытого исходного кода и исследований ИИ — включая NVIDIA, Adobe, Cadence, Capital One, Cisco, Cloudera, Cloudflare, Cognition, CrowdStrike, Databricks, Dell Technologies, DoorDash, Elastic, HPE, Hugging Face, IBM, LangChain, the Linux Foundation, Microsoft, NAVER, NetApp, Nous Research, OpenClaw, Palantir, Palo Alto Networks, Red Hat, Reflection AI, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpacexAI, Synopsys, Thinking Machines Lab и TrendAI — являются учредительными партнерами Open Secure AI Alliance, движения за разработку и распространение открытых технологий, методов и инструментов для защиты программного обеспечения и агентов в эпоху ИИ.

Некоторые утверждают, что открытые модели по своей сути менее безопасны, поскольку их можно использовать для кибератак или модифицировать, чтобы убрать ограничители. Эти риски реальны, но они не исчезают и в закрытых системах, а простое сохранение весов в закрытом виде не мешает решительным атакующим искать или эксплуатировать мощный ИИ.

Правильный ответ — не лишать защитников доступа к способным открытым системам. Нужно сочетать открытость с надежными защитными мерами, четкими правилами против злонамеренного использования, строгой оценкой и быстрым устранением проблем. В кибербезопасности более безопасный путь — тот, который дает большему числу защитников возможность тестировать, проверять и укреплять системы, на которых держится общество.

Защитникам нужны и передовые закрытые модели, и передовые открытые модели, работающие вместе, чтобы они могли выбирать подходящую систему для задачи и чтобы прозрачность, адаптация и суверенный контроль были доступны везде, где этого требует безопасность.

Открытые исследования усиливают кибербезопасность и безопасность ИИ

ИИ-агент — это не просто языковая модель. Это сложная система, построенная из моделей, harnesses и ограничителей.

Реальная безопасность ИИ зависит от всего агентного стека — идентичности, прав доступа, harnesses, ограничителей, журналов и оценки, — а не только от того, открыты или закрыты веса модели. Открытые harnesses и инструменты облегчают многим защитникам проверку, тестирование и улучшение этих механизмов.

NVIDIA вносит в Open Secure AI Alliance открытые модели, веса моделей, данные и новые исследования agent harness, чтобы ускорить разработку новых инструментов и методов кибербезопасности.

Новый проект с открытым исходным кодом NVIDIA Labs Object-Oriented Agent (NOOA) теперь доступен на GitHub, чтобы сделать расширенные возможности безопасности ИИ более доступными для agent harnesses. Исследовательская платформа NOOA помогает harnesses лучше интегрироваться с моделями, делая поведение агента проще для тестирования, отслеживания, аудита и управления.

В рамках Альянса участники строят открытую защитную инфраструктуру для агентов — от идентичности и изоляции до безопасных форматов моделей, многомодельного сканирования и безопасных рабочих процессов кодирования.

HPE вносит вклад в SPIFFE/SPIRE, который создает стандарты и методы zero-trust фреймворка идентичности, способные криптографически проверять ИИ-агентов и сервисы, чтобы гарантировать, что только авторизованные рабочие нагрузки обмениваются данными и получают доступ к корпоративным ресурсам.

Hugging Face передала Safetensors — безопасный формат хранения весов моделей ИИ, обеспечивающий прозрачность и гарантию отсутствия удаленного выполнения кода, — в PyTorch Foundation.

IBM и Lightwell от Red Hat расширяют защиту в цепочке поставок open source с помощью цифрово подписанных патчей.

MDASH — многомодельный агентный сканирующий harness от Microsoft — координирует специализированных ИИ-агентов, чтобы находить, обсуждать и доказывать наличие exploitable bugs.

SpaceXAI открыла исходный код терминального ИИ-агента для кодирования Grok Build, чтобы продвигать доверие, прозрачность и новые возможности, и планирует открыть веса линейки моделей Grok для поддержки сообщества разработчиков и исследователей.

Призыв к политикам и регуляторам

По мере того как политики и регуляторы решают вопросы безопасности ИИ, крайне важно рассматривать открытые модели, harnesses и средства безопасности как защитные активы, а не как риски, в политике в сфере ИИ и кибербезопасности. Всеобъемлющие ограничения на открытые передовые системы ИИ ослабили бы оборонный потенциал и создали бы риск концентрации власти, зависимости и уязвимости у нескольких закрытых поставщиков.

Компании и правительства должны инвестировать в общую открытую инфраструктуру для защиты ИИ — наборы данных, фреймворки оценки, симуляторы атак и инструменты red teaming — так же, как предыдущие поколения инвестировали в программное обеспечение с открытым исходным кодом.

Будущее, которое мы должны построить

Эпоха ИИ-агентов может стать эпохой устойчивости и общей безопасности. При правильном выборе открытые безопасные системы ИИ могут дать защитникам необходимые инструменты, усилить конкуренцию, расширить технологическое лидерство и обеспечить, чтобы безопасность этой выдающейся технологии создавалась открыто и для всех.

Это будущее не будет обеспечено предположением, что секретность сама по себе означает безопасность. Оно будет обеспечено созданием систем, достаточно сильных, чтобы выдерживать проверку, достаточно гибких, чтобы их можно было улучшать, и достаточно открытых, чтобы мобилизовать все сообщество защитников.

Это будущее стоит того, чтобы его строить, — и Open Secure AI Alliance приглашает правительства, отрасль и исследователей присоединиться к совместной работе по защите эпохи ИИ.

Узнайте больше или выразите интерес к присоединению к Open Secure AI Alliance.