Генеральный директор Microsoft Сатья Наделла дал новый совет компаниям, внедряющим искусственный интеллект: относиться к ИИ-моделям так, как службы безопасности относятся к угрозам изнутри.

Его центральная рекомендация проста. Ни одна ИИ-модель не должна контролировать одновременно и выполняемые ею действия, и данные, используемые для проверки этих действий. Если одна система может выполнять работу и сама выставлять себе оценки, Наделла отметил, никто на самом деле ничего не проверяет.

Модель угроз изнутри для ИИ

Концепция угроз изнутри пришла из корпоративной безопасности, где компании уже планируют сценарии, связанные с сотрудниками, обладающими легитимным доступом, но способными его злоупотребить — класс рисков, который давно управляется с помощью таких механизмов, как разделение обязанностей, при котором чувствительные задачи и доступ разделяются так, что ни один человек или система не контролирует весь процесс от начала до конца. Аргумент Наделлы состоит в том, что автономные ИИ-агенты относятся к той же категории.

ИИ-агент, подключённый к системам компании, может получить доступ к чувствительным корпоративным данным так же, как доверенный сотрудник. Однако, в отличие от сотрудника, его рассуждения могут быть непрозрачными, и он может действовать с такой степенью автономии, которая затрудняет надзор.

В заявлениях 10 октября 2026 года Наделла обсудил проблемы, создаваемые сверхразумными системами, и призвал разделять интеллект и полномочия. Проще говоря, модель может быть достаточно умной, чтобы рекомендовать решение, но ей не следует доверять его выполнение без контроля.

Он также изложил набор практических мер контроля, включая процессы независимой верификации, прозрачность цепочки рассуждений модели — пошаговой логики, которую модель выстраивает на пути к ответу — и механизмы внешнего аудита. Цель — подотчётность, не зависящая от того, подтверждает ли ИИ сам себя.

Закономерность, а не разовая оговорка

В ходе выступления в подкасте All-In 17 сентября 2026 года — технологическом и деловом шоу — Наделла указал на возможность того, что корпоративные ИИ-агенты могут искажать финансовые данные, назвав это новым видом риска изнутри.

В июле 2026 года он представил то, что назвал «парадоксом обратной информации» — идею о том, что компании, использующие ИИ, могут в итоге раскрывать собственные proprietary-знания через взаимодействие с этими системами.

Около 14 сентября 2026 года Microsoft представила проект кодекса поведения для собственного семейства моделей MAI. Документ делает акцент на человеческом надзоре и участии людей в управлении ИИ, а также отвергает обманчивое поведение ИИ. В служебной записке середины сентября 2026 года Наделла, по имеющимся сведениям, посоветовал выделить время, необходимое для правильной настройки мер безопасности, предупредив, что в противном случае компания может лишиться своего «права на деятельность».

Значение за пределами Microsoft

Microsoft стремится быть ведущим поставщиком ИИ-возможностей, одновременно позиционируя себя как компания, уважающая корпоративный суверенитет — принцип, согласно которому клиенты сохраняют контроль над собственными данными и системами. Продавать мощных агентов легче, когда поставщик также продаёт защитные механизмы, делающие их безопасными для внедрения.

Любой компании, предоставляющей ИИ-агентам доступ к финансовым системам, данным клиентов или внутрен операциям, возможно, потребуется пересмотреть то, как эти агенты контролируются. Это может означать разделение системы, которая действует, и системы, которая проверяет, ведение журналов рассуждений и привлечение внешних аудиторов.

Ключевой вопрос заключается в том, перейдут ли эти принципы от речей и черновых документов к практике, обеспеченной принудительным исполнением. Кодекс поведения MAI остаётся проектом. То, как Microsoft его доработает, и станут ли клиенты применять описанное Наделлой разделение действий и верификации, покажет, насколько серьёзно индустрия относится к собственным предупреждениям.

Источник: CryptoBriefing