НовостиМакроДебаты об ИИ-сингулярности смещаются от машинного интеллекта к управлению

Дебаты об ИИ-сингулярности смещаются от машинного интеллекта к управлению

Автор: TechNext24·

Ключевые выводы

  • Anthropic заявила, что к May 2026 более 80% кода, добавленного ею в рабочую кодовую базу, написал Claude.
  • Anthropic и Sam Altman описали растущее участие ИИ в разработке, отметив при этом, что полностью автономное рекурсивное самообучение еще не произошло.
  • Американская система для передовых моделей является добровольной и не требует лицензирования или предварительного согласования, тогда как NIST разрабатывает механизмы контроля идентификации, авторизации, аудита агентов и защиты от внедрения инструкций через запросы.
  • Финансовые регуляторы подчеркнули, что советы директоров и высшее руководство должны достаточно хорошо понимать риски передового ИИ, чтобы определять стратегию и контролировать соответствующие функции.
  • Предлагаемый подход к управлению включает четкие этапы принятия решений, жесткие пороги прохождения, отдельные решения о принятии риска и более частые проверки, включая потенциально еженедельные обновления для существенных программ с использованием передового ИИ.
Дебаты об ИИ-сингулярности смещаются от машинного интеллекта к управлению

Настоящий разрыв может возникнуть не тогда, когда машины превзойдут человека. Он может возникнуть тогда, когда возможности ИИ начнут накапливаться быстрее, чем организации смогут их интегрировать.

На недавнем заседании комитета по рискам вопрос казался простым: по-прежнему ли точно раскрытие информации организацией о рисках ИИ? Ответ оказался менее однозначным. С момента предыдущего обзора системы ИИ существенно изменились. Они выполняли более длительные задачи, использовали больше инструментов, работали при меньшем надзоре и напрямую участвовали в разработке программного обеспечения и исследованиях. Однако система управления рисками не развивалась с той же скоростью.

Не обязательно произошло что-то сбойное. В этом и заключалась проблема. От совета директоров требовали одобрить контрольную среду, созданную для технологии, профиль возможностей которой уже выходил за рамки заложенных в нее предположений.

Именно отсюда следует начинать дискуссию о Сингулярности — не с прогнозов о том, когда машины превзойдут человека, а с менее экзотичного и более неотложного вопроса управления. Для возникновения такого разрыва не нужны взрывной рост интеллекта, конкретная дата или согласие относительно значения общего искусственного интеллекта. Это уже проблема контроля.

Три разговора, которые обычно смешивают

Многие публичные дискуссии об ИИ запутаны, потому что три разных понятия рассматриваются так, будто речь идет об одном.

Возможности — это то, что могут делать системы ИИ. Это эмпирический, проверяемый показатель, который быстро меняется.

Автономность — это то, какая часть цикла принятия решений и совершения действий может работать без прямого вмешательства человека. Именно здесь находится непосредственная проблема управления. Система ИИ, которая генерирует ответ, — это одно. Система, которая определяет следующее действие, получает доступ к инструменту, выполняет это действие, оценивает результат и продолжает работу, — нечто принципиально иное.

Сингулярность — это спекулятивный разрыв: точка, в которой улучшение под управлением ИИ становится настолько самоподдерживающимся, что традиционное человеческое прогнозирование теряет надежность.

Эти понятия не взаимозаменяемы. Директору не обязательно считать технологическую Сингулярность близкой, чтобы признать: рост автономности создает другую контрольную среду. Точно так же можно считать, что возможности ИИ со временем приведут к трансформации, не веря в неизбежность взрывного роста интеллекта.

Это различие важно, поскольку управление не может ждать ответа на третий вопрос, прежде чем начать действовать исходя из второго.

Цикл не замкнут — но это не делает его несущественным

Наиболее убедительное доказательство этого тезиса одновременно является наименее сенсационным. Передовые лаборатории ИИ все чаще передают самим системам ИИ отдельные части разработки ИИ.

Anthropic описывает переход от написания кода людьми к написанию и редактированию значительной его части агентами для программирования, а затем к запуску кода агентами и делегированию работы другим агентам. Anthropic сообщает, что по состоянию на May 2026 более 80% кода, который компания добавляла в свою рабочую кодовую базу, написал Claude.

Однако важно учитывать то, чего еще не произошло. Направление исследований по-прежнему задают люди, а цикл не является полностью автономным. Anthropic прямо заявляет, что рекурсивное самообучение пока не происходит в полностью автономном смысле и что оно не является неизбежным.

Sam Altman аналогичным образом описал нынешнее состояние как «личиночную» версию рекурсивного самообучения, признав при этом, что это не то же самое, что автономная перепись системой ИИ самой себя.

Эта оговорка усиливает, а не ослабляет аргумент в пользу управления. Важен не вопрос о том, замкнут ли цикл. Важно, какая его часть уже перешла от выполнения человеком к выполнению машиной — и успевают ли институциональные механизмы контроля за этим переходом.

Управление живет по другим часам

Регулирование показывает ту же проблему несоответствия темпов. Правительство США создало добровольную систему для определенных передовых моделей, предусматривающую, в частности, доступ правительства к охватываемым моделям до их выпуска и засекреченный процесс сравнительного тестирования для определения того, достигают ли модели порогового уровня передовых возможностей. Эта система прямо не предусматривает обязательного лицензирования или предварительного согласования. Белый дом

Одновременно NIST разрабатывает практические подходы к идентификации и авторизации агентов, включая идентификацию, авторизацию, аудит, неотказуемость и меры защиты от внедрения инструкций через запросы.

Это направление имеет большое значение. Инструменты управления перестраиваются с учетом систем, способных действовать, а не только генерировать информацию. Для организаций это означает, что надзор должен отслеживать не только возможности модели, но и разрешения, системы, данные и третьих лиц, подключенных к системе. Именно эти параметры определяют последствия действия и доказательства, необходимые для подтверждения того, что оно оставалось контролируемым.

Финансовые регуляторы столь же ясно обозначают ответственность совета директоров. FCA, Банк Англии и Министерство финансов Великобритании заявили, что компании должны обеспечить достаточное понимание советами директоров и высшим руководством рисков, связанных с передовыми системами ИИ, чтобы определять стратегическое направление и контролировать функции управления рисками.

Это не свидетельствует о провале регуляторов. Это отражает структурную реальность: технологии меняются первыми, а институты формализуют свою реакцию позже. Поэтому советы директоров не могут делать регуляторную определенность предварительным условием для действий.

Настоящая проблема может заключаться в разрыве интеграции

Именно здесь разговор о Сингулярности превращается в вопрос для бизнеса. Организация может получить доступ к выдающимся возможностям ИИ и при этом структурно не иметь способности их интегрировать.

Финансовая организация может внедрить агента, способного проводить сложный анализ, в то время как ее система контроля предполагает, что каждую значимую рекомендацию формулирует человек-аналитик. Ритейлер может автоматизировать решения в сфере ценообразования, запасов и взаимодействия с клиентами, а ответственность при этом по-прежнему будет организована вокруг руководителей-людей. Технологическая компания может позволить системам ИИ создавать и тестировать программное обеспечение с беспрецедентной скоростью, тогда как проверка безопасности, управление изменениями и реагирование на инциденты останутся рассчитанными на человеческие циклы разработки.

Возможности изменились. Организация — нет.

Опыт работы с комитетами по аудиту и рискам, в финансовых услугах, ритейле, медиа, сегменте предметов роскоши, спорте и технологиях подтверждает одну и ту же закономерность: новые возможности могут появиться повсюду одновременно, тогда как скорость их интеграции радикально различается в зависимости от регулирования, устаревшей инфраструктуры, структуры персонала и зрелости механизмов контроля.

Эта разница имеет значение. С точки зрения управления рисками и брокерской деятельности именно в этот момент риск ИИ перестает быть аналитическим документом и начинает превращаться в страховую премию. Страховщики, инвесторы, регуляторы и советы директоров в конечном счете задают вариации одного и того же вопроса: может ли организация доказать, что понимает создаваемую ею подверженность риску и контролирует ее?

Должно ли управление двигаться так же быстро, как ИИ?

Очевидный ответ — ускорить управление. Но более быстрое управление не всегда является более качественным.

Возможно, целью должно быть не управление со скоростью технологий, а управление со скоростью, необходимой для сохранения контроля. Правильный вопрос для совета директоров может звучать не так: «Одобрили ли мы эту возможность ИИ?» Скорее он должен звучать так: «Что изменилось в профиле возможностей, автономности, доступа или последствий с момента нашего последнего одобрения и изменились ли соответствующим образом наши механизмы контроля?»

Это более сложный вопрос, но он также гораздо полезнее.

Инструмент управления

Большинство комментариев об ИИ заканчивается предупреждением. Советам директоров нужно нечто более практичное: механизм, исходящий из предположения, что ситуация будет меняться.

Ответ заключается не в более точном прогнозе того, когда может наступить Сингулярность. Нужен динамический контрольный этап, измеряющий, сохраняет ли организация способность контролировать развернутые ею системы.

Такой инструмент должен обладать пятью характеристиками:

  1. Четкие этапы принятия решений. Программы ИИ должны продвигаться по оцененным критериям, а не по описательным отчетам о статусе. Возможности, автономность, доступ, охват контролями, устойчивость и ответственность следует оценивать явно.
  2. Частичное признание прогресса. Организации должны видеть, в каких областях они улучшаются, не принимая прогресс за готовность.
  3. Жесткий порог прохождения. Если критически важное требование контроля не выполнено, оптимизм не должен позволять обойти это условие.
  4. Отдельные от оценок контрольные точки для принятия решений. Совет директоров может осознанно принять риск, и это является легитимным управлением. Но суждение должно оставаться видимым именно как суждение, а не маскироваться под число.
  5. Более частое обновление. Если возможности могут существенно измениться в промежутке между ежеквартальными заседаниями совета директоров, квартальная отчетность структурно не способна обеспечить достаточную прозрачность. Для существенной программы с использованием передового ИИ могут потребоваться еженедельные обновления.

Этот подход применяется в рамках действующей программы цифрового банкинга. Практический вывод очевиден: когда среда быстро меняется, управление должно измерять изменения, а не просто документировать их.

Советы директоров должны иметь возможность ответить на ряд вопросов: что система умеет сейчас такого, чего она не умела на момент последнего обзора? Какие решения или действия она может принимать без прямого вмешательства человека? К каким системам, данным, учетным данным и третьим лицам она имеет доступ? Какие механизмы контроля работают до, во время и после этих действий? Какие доказательства подтверждают эффективность этих механизмов? Что изменилось в остаточном риске? Успевает ли способность организации интегрировать новые возможности за изменением самих возможностей?

Если руководство не может ответить на эти вопросы, проблема уже не сводится к зрелости ИИ. Это проблема зрелости управления.

Вопрос, который должны обсуждать советы директоров

В конечном счете Сингулярность может оказаться разрывом в развитии интеллекта. Однако советам директоров не нужно разрешать этот философский вопрос. Есть более непосредственный разрыв, которым стоит управлять: возможность того, что машинные возможности будут накапливаться быстрее, чем институциональный контроль.

В основе этого вопроса лежит легитимная дискуссия. Возможно, ответом должно стать более сильное управление. Возможно, лучше спроектированное управление. В некоторых случаях, возможно, не следует внедрять возможность до тех пор, пока организация не сможет ее интегрировать.

Последняя позиция будет раздражать некоторых технологических руководителей. И это нормально. Цель управления — не сделать внедрение комфортным. Но управление также не должно становиться оправданием институционального паралича. Задача заключается в том, чтобы различать эти ситуации.

Поэтому вопрос для совета директоров звучит не так: «Когда машины превзойдут нас?» Он звучит так: «Какой объем автономности мы готовы контролировать, пока не убедимся, что наша организация способна его интегрировать?»

Совет директоров может ответить на этот вопрос. В отличие от даты наступления Сингулярности, его нельзя отложить.

Сингулярность — это вопрос о машинах. Разрыв в управлении — вопрос о нас.

Первоисточник: TechNext24