Поскольку ежегодная конференция Black Hat открывается в Лас-Вегасе, Open Secure AI Alliance — теперь объединяющий более 120 организаций — продвигает новые рекомендации и технологии с открытым исходным кодом, направленные на усиление кибербезопасности агентных ИИ-систем, то есть систем ИИ, которые могут автономно преследовать цели, выбирать и использовать инструменты, а также взаимодействовать с внешними приложениями и данными.

Linux Foundation опубликовала Request for Comments по Shared AI Findings Exchange (SAFE) — предлагаемой рамке, предназначенной для преобразования инцидентов кибербезопасности, связанных с агентным ИИ, в общедоступную защитную информацию для более широкой экосистемы. Рекомендации SAFE разрабатываются рабочей группой Open Secure AI Alliance, а среди участников, сотрудничающих с Linux Foundation над первоначальным предложением, — NVIDIA, Cisco, CrowdStrike, Hugging Face и Red Hat. Эта инициатива объединяет прямых конкурентов — производителей чипов, облачных провайдеров, компании в сфере кибербезопасности и платформы ИИ — в рамках общей структуры, что отражает срочность выработки единых практик защиты по мере перехода внедрений агентного ИИ от пилотных проектов к промышленной эксплуатации.

В соответствии с рекомендациями SAFE альянс предлагает конфиденциально собирать и анализировать инциденты ИИ и near misses, уведомлять затронутые стороны, выявлять повторяющиеся сбои в механизмах контроля и публиковать основанные на фактах операционные рекомендации, призванные снизить системный риск.

Более широкий контекст — это нарастающий вызов: каждый крупный технологический сдвиг создает новые поверхности атаки, и защитники должны действовать с тем, что альянс называет "agent speed", чтобы оперативно защищать инфраструктуру и интеллектуальную собственность. Открытый обмен разведданными о угрозах внутри доверенных экосистем рассматривается как мультипликатор силы коллективной защиты.

Участники альянса расширяют полнофункциональный набор средств защиты

Рамка SAFE дополняет растущий массив технологических вкладов участников Open Secure AI Alliance, которые создают и распространяют открытые, поддающиеся проверке инструменты по всему стеку безопасности ИИ — от контроля идентичности и harnesses до guardrails, журналов и систем оценки. Акцент на open source отражает базовый принцип альянса: инструменты безопасности, которые можно независимо проверить, аудитировать и улучшать силами сообщества, лучше подходят для построения доверия к системам, способным действовать автономно.

Открытое ПО и модели NVIDIA для кибербезопасности

Вклад NVIDIA охватывает весь стек. Исследовательский harness NVIDIA Labs Object-Oriented Agent (NOOA), доступный на GitHub, призван упростить тестирование, трассировку, аудит и управление поведением агентов. Среда выполнения NVIDIA OpenShell ограничивает, к чему агент может получать доступ и что может выполнять, обеспечивая контроль безопасности и конфиденциальности на уровне самого агента.

Открытые семейства моделей NVIDIA — Nemotron для agentic AI, Cosmos для physical AI, Isaac GR00T для робототехники, BioNeMo для здравоохранения и наук о жизни, а также Alpamayo, описываемая как крупнейшая в мире модель для автономных транспортных средств с коммерческой лицензией, — выпускаются с открытыми весами, наборами данных и техниками обучения.

Открытые проверенные навыки агентов NVIDIA verified agent skills расширяют управление и на уровень возможностей. Каждый навык включает переносимые наборы инструкций, которые каталогизируются, проверяются на риски, такие как prompt injection и tool poisoning, криптографически подписываются и документируются в skill card — это позволяет защитникам точно понимать, что делает навык, откуда он поступил и был ли он изменен после публикации.

NeMo Guardrails, NeMo Anonymizer и NeMo Safe Synthesizer помогают обеспечивать соблюдение политик безопасности, защищать конфиденциальные данные и создавать синтетические данные, безопасные с точки зрения конфиденциальности. Garak, открытый LLM vulnerability scanner NVIDIA, позволяет командам безопасности проверять модели на утечки данных, prompt injections и сценарии jailbreak до их выпуска.

Идентификация и права доступа — кто получает право действовать

Защита идентичности агента — фундамент более широкого стека безопасности.

Okta разрабатывает эталонные реализации для идентичности и доступа агентов, демонстрируя, как Cross App Access (XAA), открытый протокол, позволяет ИИ-агентам в средах OpenShell sandbox безопасно подключаться к корпоративным приложениям.

Palo Alto Networks внесла open source-инструменты из Idira, своей платформы следующего поколения для защиты идентичности, включая Agent Guard и Agent Watch. Эти инструменты помогают разработчикам и создателям агентов применять лучшие практики защиты идентичности и меры безопасности, такие как безопасное получение секретов для агентных рабочих процессов.

Новый проект с открытым исходным кодом, основанный Red Hat, под названием asago, сопоставляет индивидуальные требования организации к управлению — с опорой на такие рамки, как NIST, OWASP и EU AI Act — напрямую с тем, что агентам разрешено делать во время выполнения, сохраняя единый след аудита от положения политики до активного контроля. По мере того как регуляторы по всему миру ужесточают требования к управлению ИИ, инструменты, переводящие нормативные положения в исполнимые технические меры контроля, становятся все более важными для организаций, стремящихся подтвердить соответствие требованиям.

Harnesses и инструменты — как координируется работа по безопасности

ИИ-агенты работают в экосистемах открытых и закрытых моделей, harnesses, инструментов и сред выполнения. Если модель выступает как мозг агента, то harness служит телом, которое выполняет действия через инструменты, координируя развертывание, согласование и ограничение агентов.

Amazon, один из новейших участников Open Secure AI Alliance, вносит Strands Agents — open source toolkit для создания ИИ-агентов, открытый на каждом уровне, что дает разработчикам полный обзор поведения агента и возможность оценивать агентные системы в production. Amazon также вносит Cedar, open source language авторизации, который задает детерминированные и проверяемые границы допустимых действий агента.

Capital One опубликовала с открытым исходным кодом VulnHunter для защиты агентного ИИ-кода. Cloudflare предлагает свой Vulnerability Discovery Harness как open source skill для агентных систем.

Microsoft AI Red Team опубликовала с открытым исходным кодом несколько инструментов и harnesses. PyRIT — Python Risk Identification toolkit — позволяет проводить автоматизированный red teaming со встроенной памятью, поддерживая как распространенные цели, так и пользовательские endpoints. RAMPART and Clarity превращают находки red team и реальные инциденты в повторяемые тесты и помогают командам ставить под вопрос проектные допущения до написания кода. Microsoft также опубликовала Assert, который преобразует требования на естественном языке и ожидаемое поведение ИИ в сфере безопасности в исполнимые оценки.

Atlas, разработанный Wiz, — это автономный движок для исследования уязвимостей, который координирует специализированных ИИ-агентов для обнаружения и проверки недостатков безопасности в коде и пакетах с открытым исходным кодом.

Visa, которая также присоединилась к Open Secure AI Alliance, внесла свой open sourced Visa Vulnerability Agentic Harness, чтобы помочь командам выявлять проблемы, а также поддерживать устранение и проверку.

Модели — интеллект, созданный для безопасности и защиты ИИ

Не каждая задача безопасности или защиты требует универсальной модели. Специализированные модели безопасности и защиты создаются для обороны: их обучают понимать код, находить уязвимости и рассуждать об угрозах в масштабе. Они могут поддерживать агентные рабочие процессы как системы моделей, где открытые и закрытые модели работают совместно для эффективного выполнения задач.

Cisco DefenseClaw — это open source agentic governance layer, который работает поверх NVIDIA OpenShell и обеспечивает надежную автоматизированную безопасность на уровне runtime при масштабировании агентных команд. Cisco также выпустила две небольшие языковые модели безопасности Antares, предназначенные для точного определения известных уязвимостей в кодовой базе; а также Project CodeGuard, чтобы встроить практики secure-by-default непосредственно в рабочие процессы AI coding.

CrowdStrike дообучает модель NVIDIA Nemotron Nano для киберзащиты. Внутренние тесты показали 96% точности при генерации investigative queries в Falcon LogScale, обеспечивая интерфейс на естественном языке, который повышает эффективность расследований агентами. CrowdStrike также опубликовала исследование, показывающее, что специализированная reasoning model на базе NVIDIA Nemotron Nano превосходит гораздо более крупные модели в triage обнаружений для Security Operations Center, при этом вводя калиброванную logit-based confidence, чтобы обеспечить измеримые, настраиваемые и поддающиеся аудиту автономные решения в области безопасности.

Наблюдение за тем, что сделал агент, — лишь часть картины. Защитникам также нужно понимать, почему он действовал именно так, безопасно ли работает система и как меняются атаки в реальном мире.

Akamai использует данные из своих State of the Internet reports и исследований Security Intelligence Group, опираясь на реальные данные, чтобы прояснять угрозы эпохи ИИ и объяснять, как работают возникающие эксплойты, чтобы защитники могли учиться, адаптироваться и реагировать. Cognition опубликовала trustworthiness evaluation, которая измеряет риски несоответствия и безопасности моделей, полученных на основе open source, демонстрируя, что эти риски можно снизить с помощью post-training.

Numbat — это open source agent security suite компании Perplexity для клиентских endpoints. Она обнаруживает, расследует и предотвращает действия агентов в macOS, Linux и Windows, предоставляя защитникам структурированную запись того, что агенты фактически делали.

Uber опубликовала с открытым исходным кодом ключевые компоненты ADR (Agentic AI Detection and Response) — production-системы, которая восстанавливает полную причинно-следственную цепочку активности ИИ-агентов — от prompt до reasoning, tool calls и outcomes. Сегодня ADR поддерживает более 200,000 агентных сессий в день на 30,000 endpoints, используя двухуровневый подход анализа, сочетающий эффективное обнаружение с более глубоким расследованием для высоковероятных угроз.

Доступность и устойчивость — быстрое восстановление, когда важна каждая минута

Системы агентов должны оставаться надежными при сбоях, локализовать отказы и безопасно восстанавливаться без потери критического состояния и без раскрытия более широкой среды.

LangChain добавляет возможности устойчивости в свои open source-фреймворки — Deep Agents, LangGraph и LangChain — позволяя агентам повторять прерванную работу, следовать безопасному пути восстановления, возобновлять выполнение из сохраненного состояния вместо запуска заново и автоматически переключаться на альтернативные модели, если основная модель выходит из строя.

Veeam помогает организациям сохранять устойчивость и возможность восстановления данных и инфраструктуры, лежащих в основе ИИ, с помощью технологий, включая Kanister, своего open source framework для защиты данных в Kubernetes. Он помогает командам защищать и восстанавливать AI workloads, vector databases и данные до проверенного состояния known-good.

Ожидаются новые вклады. Когда участники публикуют повторно используемые меры смягчения, защитники по всей экосистеме могут изучать, адаптировать и улучшать их, помогая практикам безопасности развиваться вместе с развитием ИИ.

Участники Open Secure AI Alliance соберутся на Black Hat во вторник, 4 августа, в 5:15pm PT для группового фото у Main Stage, Business Hall в Mandalay Bay Convention Center. Узнать больше или выразить интерес к вступлению в Open Secure AI Alliance можно на соответствующей странице альянса.