Эксперты по безопасности ИИ бьют тревогу в связи с тем, как OpenAI построила свою скоро выходящую фронтальную модель искусственного интеллекта Astra, утверждая, что такой подход может ускорить наступление дня, когда люди утратят возможность отслеживать рассуждения, которые используют ИИ-агенты.

Для новой модели OpenAI применила метод, называемый также «рекуррентной глубиной» (recurrent depth) или «циклическими трансформерами» (looped Transformers), для части внутренней архитектуры модели. Этот метод может значительно повысить эффективность ИИ-моделей за счёт меньших затрат вычислительных мощностей на обработку каждого запроса — ценное свойство в то время, когда многие компании жалуются на высокие затраты на использование самых передовых фронтальных моделей ИИ.

Однако новый процесс также означает, что часть «цепочки рассуждений» модели — то есть шагов её логики — не выражается на естественном языке, что значительно затрудняет для людей отслеживание того, что делает модель и почему. Мониторинг цепочки рассуждений в настоящее время является одним из основных методов, которые компании используют для того, чтобы ИИ-агенты не совершали непреднамеренных или несанкционированных действий, и он стал центральным направлением области интерпретируемости ИИ, где исследователи ведущих лабораторий — включая OpenAI, Anthropic и Google DeepMind — изучают, действительно ли видимые рассуждения модели отражают её внутренние вычисления. Исследователи предупреждали, что текст цепочки рассуждений не всегда «верен» истинному внутреннему процессу модели, что делает сохранение любого читаемого следа рассуждений особенно ценным для команд безопасности.

Техническое издание The Information первым сообщило о применении рекуррентной глубины в Astra компанией OpenAI на этой неделе. Якуб Пачоки, главный научный сотрудник OpenAI, и ряд других исследователей компании раскритиковали публикацию за то, что она вызвала чрезмерную тревогу среди специалистов по безопасности ИИ, заявив, что компания ограничила масштабы использования архитектуры циклических трансформеров, чтобы рассуждения модели оставались читаемыми.

В ответ на материал The Information Пачоки написал в X, что «мы глубоко заботимся» о мониторинге цепочки рассуждений и что «OpenAI с самых первых своих рассуждающих моделей работала над сохранением и использованием мониторинга цепочки рассуждений». Он добавил, что OpenAI поделится дополнительными деталями архитектуры Astra в будущем.

Пачоки также отметил, что, по его мнению, мониторинг цепочки рассуждений может стать более сложным, но «по причинам, не зависящим от изменений архитектуры», подобных тем, что OpenAI начала внедрять с рекуррентной глубиной. «Но есть вещи, которые мы можем сделать, чтобы его усилить, и это одна из основных целей нашей текущей исследовательской программы», — написал он.

До заявления Пачоки Стивен Адлер, бывший исследователь безопасности OpenAI, ныне возглавляющий некоммерческую организацию Guidelight AI Standards, работающую над бенчмарками и стандартами безопасности ИИ, написал в X, что, если материал The Information соответствует действительности, «OpenAI, похоже, нарушает одну из немногих красных линий, существующих в отрасли ИИ».

Питер Уайлдефорд, директор по политике AI Policy Network — вашингтонского аналитического центра, занимающегося продвижением политик, помогающих американцам подготовиться к влиянию ИИ, — сообщил Fortune, что применение рекуррентной глубины компанией OpenAI является «потенциально очень тревожным» и «потенциально безрассудным». Он отметил, что одним из немногих способов, с помощью которых OpenAI и сторонние компании по оценке ИИ смогли разобраться в произошедшем во время июльского инцидента — в ходе которого несколько ИИ-моделей OpenAI автономно атаковали компанию Hugging Face — было чтение цепочек рассуждений этих моделей. OpenAI также заявляла, что инвестирует значительные ресурсы в мониторинг цепочки рассуждений в реальном времени в рамках усилий по предотвращению будущих инцидентов с неконтролируемым ИИ. «Если OpenAI действительно отходит от этого, это движение в неправильном направлении», — сказал он.

Несколько экспертов по безопасности ИИ заявили, что их насторожило применение циклических трансформеров в Astra не потому, что это обязательно затрудняет мониторинг собственных рассуждений самой Astra. Скорее, они опасались, что этот шаг OpenAI нормализует данную технику, создав прецедент, которому другие ИИ-компании, вероятно, последуют и который будут развивать, что в итоге приведёт к появлению ИИ-моделей с полностью непрозрачными для людей шагами рассуждений.

Даниэль Кокотайло, бывший исследователь вопросов управления (governance) в OpenAI, ныне возглавляющий некоммерческую исследовательскую организацию AI Futures Project, занимающуюся прогнозированием возможных последствий передового ИИ, ответил Пачоки, что «даже если OpenAI не пойдёт дальше [в использовании архитектур, делающих цепочку рассуждений модели менее читаемой], другие могут это сделать».

Кокотайло призвал Пачоки возглавить усилия по созданию отраслевого стандарта мониторируемости цепочки рассуждений — «либо чтобы остановить сползание в небытие, либо, что ещё лучше, чтобы вступить в гонку за лидерство. Я думаю, что здесь нам нужно нечто большее, чем политическая воля — нам нужны продуманные технические спецификации». Подобные призывы к общим техническим стандартам перекликаются с более широкими усилиями в отрасли ИИ, где лаборатории, органы стандартизации и сторонние оценщики разрабатывают бенчмарки безопасности и прозрачности моделей — работа, которая зависит от того, чтобы аудиторы имели определённый доступ к тому, как рассуждают модели.

Как обычно работают трансформеры

В обычном трансформере токены — единицы информации, которые обрабатывают большие языковые модели — последовательно передаются от нижних слоёв нейронной сети модели к верхним, при этом каждый слой по очереди применяет математические операции. В языковой модели итоговый результат этого процесса — это текст, который могут читать люди. В рассуждающей модели ей предлагается выводить последовательность шагов для достижения ответа, и этот текст сначала записывается на «черновик» (scratchpad), формируя «цепочку рассуждений» модели. Этот промежуточный текст затем снова пропускается через все слои для создания следующих шагов и так далее, пока модель не придёт к окончательному ответу и не выведет его текст.

Более дешёвый, но менее прозрачный процесс

В циклическом трансформере токены многократно пропускаются через один блок (который может состоять из нескольких разных слоёв, но не из всей сети), при этом каждый раз применяются одни и те же математические операции. Ключевой момент: результат работы блока подаётся обратно в блок без записи на «черновик» каждый раз. Поэтому метод не создаёт «цепочку рассуждений» на естественном языке, хотя каждый проход через блок действительно отражает рассуждения модели. ИИ-исследователи иногда называют результат работы блока «нейроязыком» (neuralese), поскольку он может обрабатываться и использоваться для рассуждений самой ИИ-моделью, но непонятен человеку. Единственным результатом работы модели на естественном языке является окончательный ответ.

Преимущество циклических трансформеров в том, что, используя одни и те же математические операции и не требуя пропускать каждый токен через каждый слой сети, они позволяют выжать большую производительность из модели заданного размера при меньших затратах вычислительных мощностей. Исследования показали, что циклические трансформеры могут достичь той же производительности, что и обычные, используя на 50–90% меньше вычислительных мощностей. Это важно для стоимости — ключевого фактора для многих корпоративных клиентов ИИ, которые жалуются на стремительно растущие счета за ИИ. Это также важно для поставщиков, поскольку вычислительные мощности, необходимые для обучения и запуска фронтальных моделей, стали одной из крупнейших статей расходов в отрасли ИИ, стимулируя масштабные инвестиции в дата-центры и специализированные чипы.

Сокрытие части цепочки рассуждений модели также может затруднить её дистилляцию — метод, при котором меньшая модель обучается на результатах работы большей модели. Правительство США и американские ИИ-компании обвиняли китайские ИИ-компании в проведении кампаний по дистилляции фронтальных моделей ИИ, включая копирование шагов цепочки рассуждений.

Циклические трансформеры — лишь одна из нескольких новых архитектур, которые исследователи рассматривают для повышения эффективности ИИ-моделей, но которые могут уничтожить всю цепочку рассуждений модели или её часть. Другой техникой является Prefix Sliding, о которой рассказывалось во вторник в бюллетене Fortune «Eye on AI». Этот метод предполагает сохранение исходного запроса и последних нескольких тысяч токенов рассуждений при отбрасывании многих промежуточных токенов рассуждений. То, что произойдёт с Astra — и последуют ли другие лаборатории примеру OpenAI — поможет определить, какая часть рассуждений будущих ИИ-систем останется видимой для людей, которые их развёртывают.

Старший репортёр Fortune Беатрис Нолан внесла вклад в подготовку этого материала. Эта статья изначально была опубликована на Fortune.com.