OpenAI заявляет, что пресекла скоординированную кампанию по копированию скрытых рассуждений, которые её модели ИИ генерируют перед ответом, и связала основное ядро этой активности с людьми, связанными с Moonshot AI — китайским стартапом, стоящим за чат-ботом Kimi.

Согласно публикации в блоге OpenAI, кампания началась 1 июля. Только 24 и 25 июля компания зафиксировала 16 000 запросов на извлечение от более чем 4 000 пользователей в рамках более широкого кластера свыше 15 000 пользователей. OpenAI сообщает, что полностью пресекла активность к 28 июля.

Целью были не ответы моделей, а работа, стоящая за ними. Современные модели ИИ «рассуждают» перед ответом: они прорабатывают задачу шаг за шагом во внутреннем черновике, прежде чем представить чистый результат. Этот метод стал предметом конкурентной борьбы после выхода o1 от OpenAI в конце 2024 года, за которым в январе 2025-го последовала R1 от DeepSeek. OpenAI хранит этот черновик в зашифрованном виде и отмечает, что его извлечение может раскрыть информацию, отсутствующую в итоговом ответе — материал, который можно использовать для обучения другой модели без исходных защитных механизмов.

«Операторы не взламывали наше шифрование, не получали доступ к базам данных и не получали прямой доступ к сохранённым разговорам пользователей», — заявила OpenAI. «Вместо этого они манипулировали взаимодействием с моделью так, чтобы защищённые рассуждения воспроизводились в формах, видимых запрашивающему, в скоординированном и масштабном режиме, нарушавшем наши условия использования».

Один из методов, по данным OpenAI, заключался в копировании зашифрованных рассуждений из одного диалога и просьбе к модели расшифровать их в другом диалоге. С тех пор компания закрыла путь, который позволял тому, кто уже получил зашифрованные рассуждения другого пользователя, воспроизвести их и восстановить содержимое.

Публикация OpenAI не связывает кампанию напрямую с K3, но оставляет место для обоснованных сомнений. «Неясно, происходят ли все операторы, которых мы наблюдали в соответствующий период, из одного источника. мы связываем основное ядро этой активности с людьми, связанными с Moonshot AI, разработчиком Kimi», — заявила OpenAI.

Почему атакующие хотят получить скрытые рассуждения

Мотив — дистилляция, стандартный метод машинного обучения: обучение нового ИИ на выходах более сильной модели, что даёт лучшие результаты от меньших моделей без масштабного обучения. При отсутствии авторизации OpenAI называет эту практику «адверсариальной дистилляцией», определяя её как «систематическое несанкционированное использование выходных данных или рассуждений одной модели для обучения, воспроизведения или улучшения другой модели».

Этот эпизод дополняет череду скандалов с участием ИИ-компаний, самым заметным из которых является несанкционированное использование данных, защищённых авторским правом, для обучения моделей. С дистилляцией дело обстоит иначе: выходные данные ИИ не охраняются авторским правом, поэтому компании полагаются на запреты и защитные механизмы в условиях использования, чтобы не дать конкурентам применять эти данные. Иными словами, этот спор касается условий договора, а не авторского права.

Знакомое обвинение

OpenAI уже проходила через подобное. В январе 2025 года компания сообщила, что изучает признаки возможной дистилляции её моделей DeepSeek, пока Вашингтон оценивал риски для национальной безопасности.

В феврале к ней присоединилась Anthropic, обвинившая китайские лаборатории в использовании около 24 000 мошеннических аккаунтов для генерации более 16 миллионов диалогов с Claude. Онлайн-критики ответили, что сам Claude обучался на открытом интернете.

К апрелю Белый дом заявлял, что иностранные структуры, прежде всего в Китае, ведут кампании по дистилляции в промышленных масштабах. Через неделю Илон Маск признал в суде, что xAI использовала дистилляцию моделей OpenAI для обучения Grok.

В июне Anthropic перенесла борьбу в Конгресс, потребовав санкций за крупномасштабное извлечение моделей.

В августе исследователи показали, что OpenAI, Anthropic и Google каждая защищали рассуждения единым для провайдера ключом шифрования, и что атакующие могли побудить модели выдать скрытые мысли в открытом виде. Все три компании развернули серверные патчи после раскрытия, хотя ранее переданные логи сессий остаются доступными для расшифровки.

Moonshot публично не ответила на публикацию OpenAI. Компания готовит IPO в Гонконге на 3 млрд долларов с оценкой в 50 млрд долларов.