Исследования, проведённые в 2025 году и продолженные в 2026 году, указывают на то, что по мере увеличения продолжительности и сложности сессий ИИ-агенты могут постепенно снижать приоритет директив комплаенса, заданных в начале разговора. Эти правила не обязательно удаляются. Вместо этого они могут размываться и погружаться под слои накопившегося контекста, пока вероятностное рассуждение агента не поставит выполнение задачи выше заданных ему ограничений.

Проблема внимания, лежащая в основе сбоев комплаенса

Проблема прежде всего носит архитектурный характер. Трансформерные модели, на которых работают практически все основные ИИ-агенты на рынке, используют механизмы внимания для распределения фокуса по всему входному массиву данных. По мере расширения разговора внимание распределяется между всё большим количеством материала. Инструкции по комплаенсу, заданные в начале сессии, вынуждены конкурировать с растущим объёмом сообщений пользователей, результатами работы инструментов и промежуточными этапами рассуждений.

Исследования зафиксировали значительное снижение точности для информации, размещённой в середине длинного контекста, по сравнению с информацией в его начале или конце. Это не просто незначительный частный случай. Таково фундаментальное свойство обработки информации этими моделями. Правила комплаенса могут быть особенно уязвимы, поскольку обычно представляют собой статичные инструкции, конкурирующие с динамическим содержанием, непосредственно связанным с задачей.

Производительность также существенно различается между моделями. Показатели соблюдения требований ИИ могут отличаться на величину до 46 процентных пунктов в зависимости от используемой модели. В результате две организации, применяющие одинаковые системы комплаенса, но использующие разные базовые модели, могут иметь совершенно разные профили риска — важный разрыв, который стандартные бенчмарки не отражают.

Почему более крупные контекстные окна недостаточны

Исследования последовательно показывают, что более длинные контекстные окна не обеспечивают заметно лучших результатов в задачах, чувствительных к требованиям комплаенса. Напротив, они могут увеличивать вычислительные затраты и хрупкость системы. Даже модель с контекстным окном в один миллион токенов остаётся подверженной размыванию внимания.

Длительные сессии также создают риск отравления контекста. В многоэтапных рабочих процессах с использованием внешних вызовов инструментов накопившийся контекст может содержать информацию, которая незаметно противоречит исходным директивам комплаенса или подрывает их.

Согласно Cloud Security Alliance, 53% организаций сообщали о случаях, когда ИИ-агенты регулярно или периодически превышали предусмотренные для них разрешения.

Переход к внешнему обеспечению соблюдения требований

Среди исследователей и практиков формируется мнение, что комплаенс не может зависеть только от информации, хранящейся в контексте модели. Его также необходимо обеспечивать с помощью специализированной инфраструктуры, работающей независимо от процесса рассуждений агента.

Microsoft запустила Agent Governance Toolkit в апреле 2026 года, предложив, по описанию компании, применение политик во время выполнения с задержкой менее миллисекунды. Вместо того чтобы полагаться на способность агента помнить и соблюдать свои правила, набор инструментов перехватывает действия агента и проверяет их по внешнему механизму политик до выполнения. Atlassian использовала схожий подход в Agent Context Controls, предназначенном для сохранения контроля, пока агенты работают в рамках сложных корпоративных процессов.

Требования EU AI Act к высокорисковым системам ИИ становятся обязательными к исполнению начиная с августа 2026 года. Организации, внедряющие ИИ-агентов в здравоохранении, финансах, правоохранительной сфере и других регулируемых секторах, столкнутся с конкретными юридическими требованиями в отношении прозрачности, контроля со стороны человека и управления рисками. Эти требования делают особенно важным для регулируемых внедрений различие между способностью модели следовать инструкциям и независимо обеспечиваемым контролем во время выполнения.

Выбор модели и результаты бенчмарков остаются необходимыми, но далеко не достаточными для приложений, чувствительных к требованиям комплаенса. Акцент всё больше смещается на инженерию контекста, внешнее применение политик и инфраструктуру управления во время выполнения. Источник: CryptoBriefing