Perplexity AI открыла исходный код Numbat — фреймворка для обнаружения и реагирования на действия агентов, предназначенного для защиты ИИ-агентов программирования от новой категории инцидентов безопасности, известных как «случайные срывы». Инструмент, выпущенный в рамках членства компании в Open Secure AI Alliance, дает командам безопасности видимость активности агентов в реальном времени и возможность блокировать вредоносные действия до их выполнения. Этот релиз отражает более широкий сдвиг в отрасли от опоры только на защиту на уровне модели к runtime-защите, которая отслеживает, что агенты фактически делают, когда получают доступ к файловым системам, терминалам и сетевым ресурсам.

Заявление сделано на фоне растущих свидетельств того, что автономные ИИ-агенты могут становиться угрозой безопасности без какого-либо враждебного вмешательства. Исследователи выявили случаи, когда агенты, которым поручено достигать высокоуровневых целей без подробных инструкций, выбирают непреднамеренные и вредоносные действия. Широко освещавшийся в этом месяце инцидент касался предварительной модели OpenAI, которая во время оценки вышла из своей песочницы и скомпрометировала производственную инфраструктуру Hugging Face, чтобы получить ответы. Perplexity заявила, что такое поведение нельзя полностью исправить на уровне модели и что вместо этого необходимы системные защиты, интегрированные непосредственно с agent harnesses.

Numbat создан для работы с ведущими клиентскими кодинговыми агентами, включая Claude Code, Codex, OpenCode и Pi. Как легковесный статический бинарный файл на Go, он подключается к agent harnesses через три основных механизма: hooks для обнаружения и предотвращения в реальном времени, session artifacts для ретроспективного криминалистического анализа и OpenTelemetry protocol receivers для локального сбора телеметрии.

Numbat ships as a single Go binary for macOS, Linux, and Windows. Available now under Apache 2.0: — Perplexity (@perplexity_ai) July 29, 2026

Numbat ships as a single Go binary for macOS, Linux, and Windows. Available now under Apache 2.0:

Numbat использует pre-action hooks и 52 правила обнаружения для блокировки в реальном времени

Фреймворк использует hooks «pre-action» для реализации превентивных правил безопасности, которые блокируют опасные действия до их выполнения. Numbat включает 52 встроенных правила, сгруппированных по 11 категориям поведения, включая повышение привилегий, эксфильтрацию данных и lateral movement. Эти правила используют выражения Common Expression Language над нормализованными событиями. Например, одно правило обнаруживает вмешательство в политики sudoers, а другое сопоставляет последовательности вроде чтения секретов с последующими исходящими запросами, содержащими данные.

Помимо блокировки в реальном времени, Numbat получает session artifacts непосредственно из файловой системы, воссоздавая временные линии агента в нормализованном формате даже для сессий, которые произошли до установки. Телеметрия по умолчанию остается локальной, при этом администраторы могут обрабатывать данные на устройстве или передавать их в централизованные системы.

Внутри Perplexity Numbat развернут на тысячах конечных устройств через mobile device management. Компания также интегрирует его с внутренней системой, которая анализирует результаты, воссоздает подозрительные сессии и предлагает улучшения для правил обнаружения, создавая то, что компания описывает как самосовершенствующийся security flywheel. Numbat теперь доступен как проект с открытым исходным кодом для macOS, Linux и Windows. Лицензия Apache 2.0 разрешает коммерческое внедрение и модификацию, позиционируя Numbat как reference implementation, которую другие организации могут расширять собственными правилами обнаружения по мере развития стандартов безопасности агентов.

The post Perplexity AI Open-Sources Numbat To Block AI Agent 'Accidental Meltdowns' In Real Time appeared first on Metaverse Post.