Исследователи Meta представили WM-Basin — тест «черного ящика», разоблачающий дистиллированные ИИ-модели
Ключевые выводы
- •WM-Basin от Meta выявляет дистиллированные языковые модели, обученные на выходах учителя с водяным знаком, используя только текст, доступный через API, без доступа к весам или логитам модели.
- •Метод достиг 79% истинно положительных срабатываний при уровне ложноположительных 0,1%, существенно превзойдя прежний токен-детектор с его 29% в тех же условиях.
- •Исследователи подтвердили технику на 1200 студенческих моделях с числом параметров от 135 миллионов до 8,2 миллиарда, охватив шесть семейств архитектур, нескольких учителей и несколько схем водяных знаков.
- •Сигнал обнаружения сохраняется при квантизации, прунинге и обучении с подкреплением, но обширный файнтюнинг на данных без водяных знаков и перефразирование выходов учителя могут ослабить его или обойти.
- •Поскольку крупные поставщики API обычно запрещают в условиях обслуживания обучение конкурирующих моделей на своих выходах, доказательства обнаружения с низким уровнем ложных срабатываний могут иметь значительный вес в договорных спорах.
Исследователи Meta Platforms представили технику, способную выявлять большие языковые модели, обученные на выходах модели-«учителя» с водяным знаком — как они сообщают, значительно надежнее существующих методов подсчета токенов. Подход под названием WM-Basin нацелен на дистилляцию моделей через API — практику, снизившую порог для копирования проприетарных ИИ-систем.
Раньше копирование большой языковой модели требовало кражи ее весов. Теперь это, по сути, можно сделать, активно запрашивая модель и обучая на ответах меньшую «студенческую» модель. Сама по себе дистилляция не является незаконной — ИИ-разработчики регулярно используют ее для создания меньших и более дешевых моделей на основе больших, — и именно поэтому так сложно отличить несанкционированные копии от обычной практики. Исследователи из Meta FAIR и Superintelligence Labs утверждают, что нашли лучший способ выявлять такие копии. В тестах их техника «черного ящика» с большим отрывом превзошла прежний лучший токен-детектор.
Что показало исследование
Работа под названием «Watermark Basins: Black-Box Detection of Distilled LLMs» была опубликована 27 октября 2026 года под номером arXiv:2610.37266. Она сосредоточена на конкретном сценарии: некто запрашивает модель с водяным знаком через API, собирает выходы и обучает на них студенческую модель. Водяной знак в этом контексте означает внедрение в текст модели статистических паттернов, привязанных к секретному ключу, — невидимых для обычного читателя, но извлекаемых с помощью подходящего метода обнаружения.
Главный результат — 79% истинно положительных срабатываний при уровне ложноположительных всего 0,1% при n-gram=1. Прежний лучший черный детектор на уровне токенов показывал лишь 29% истинно положительных срабатываний в тех же условиях. По словам авторов, разрыв между двумя методами еще больше увеличивается при более строгих порогах обнаружения и больших окнах n-gram.
Оценка была масштабной. Команда протестировала 1200 студенческих моделей с числом параметров от 135 миллионов до 8,2 миллиарда, обученных на математических цепочках рассуждений из OpenR1-Math. Эксперименты охватили шесть семейств студенческих архитектур, нескольких учителей и несколько схем водяных знаков.
Как работает WM-Basin
WM-Basin подает текст, сгенерированный подозрительной моделью, в фиксированную чистую пробную модель и преобразует этот текст в градиентные представления. Проще говоря, метод определяет, как этот текст сдвинул бы параметры пробной модели, если бы она была на нем обучена.
Затем метод отделяет обычные направления файнтюнинга от выравнивания с тем, что авторы называют специфичным для ключа «бассейном водяного знака» (watermark basin) в пространстве параметров. Водяной знак оставляет направленную сигнатуру, и WM-Basin ищет именно это направление, а не отдельные характерные слова.
Ключевая практическая деталь: инструменту нужны только текстовые выходы подозрительной модели, полученные через API. Доступ к весам или логитам модели не требуется.
Где сигнал сохраняется — и где разрушается
Исследователи сообщают, что сигнал обнаружения сохраняется при нескольких распространенных пост-дистилляционных модификациях. К ним относятся квантизация, сжимающая модель для удешевления запуска; прунинг, удаляющий параметры; и обучение с подкреплением. WM-Basin также оказался надежнее в ситуациях, когда токен-уровневые сигналы ослабевают, например при низкотемпературной выборке.
Однако работа откровенно признает свои ограничения. Обширный файнтюнинг на чистых данных может ослабить сигнал. Авторы отмечают продолжающийся контролируемый файнтюнинг на данных без водяных знаков, а также перефразирование цепочек учителя как потенциальные векторы обхода.
Что это значит для ИИ-разработчиков
Для тех, кто рассматривает меры правоприменения, уровень ложноположительных срабатываний 0,1% — пожалуй, более важная цифра. Любое юридическое или договорное требование, основанное на доказательствах водяного знака, подвергнется проверке на предмет ошибочных обвинений. Метод, сохраняющий низкий уровень ложных тревог при выявлении 79% копий, гораздо более защищаем, чем метод с 29%.
Ландшафт правоприменения также в значительной степени договорный, а не технический: крупные поставщики моделей через API обычно включают в условия обслуживания запрет на использование выходов для обучения конкурирующих моделей, поэтому практический вес спора обычно зависит именно от такого рода доказательств обнаружения.
Открытые вопросы остаются. Оценка была сосредоточена на математических цепочках рассуждений, поэтому производительность на других типах контента по представленным данным не определена. Реальные копировщики могут также комбинировать сразу несколько тактик обхода, включая перефразирование и файнтюнинг на чистых данных, которые сами авторы и назвали.
Источник: Meta paper shows watermarks can expose distilled AI models — CryptoBriefing, 30 октября 2026 г. Оригинальная статья отредактирована Диего Алмада Лопесом (Diego Almada Lopez).
