Новое исследование UC Berkeley показывает, что дообучение ИИ-модели на небольших, казалось бы, безобидных наборах данных может вызвать «коллапс приватности», при котором модель постепенно перестает соблюдать устоявшиеся нормы приватности — деградацию, которую стандартные проверки безопасности и проверяющие люди стабильно не замечают.

Обучение универсальной модели, чтобы она стала лучшим агентом клиентской поддержки, звучит безобидно. По словам команды из Беркли, тот же процесс, который улучшает модель для узкой задачи, может лишить ее способностиjudge, уместно ли передавать ту или иную информацию. Хуже того, модели по-прежнему выглядят абсолютно безопасными в тестах, созданных именно для выявления подобных проблем.

Сбой, который проходит проверку

Исследователи называют это явление «коллапсом приватности». Дообученная модель постепенно перестает придерживаться устоявшихся норм приватности, даже если ее обучающие данные не содержат ничего явно опасного.

Дообучение — это процесс, при котором компании берут универсальную модель и дополнительно обучают ее на более узком наборе данных — например, транскриптах клиентского обслуживания, поддерживающих диалогах или примерах работы агента с программными инструментами. Команда из Беркли обнаружила, что такое дополнительное обучение может подорвать понимание моделью контекстной приватности — принципа, согласно которому уместность передачи информации зависит от того, кто спрашивает и зачем.

Цифры впечатляют. В моделях вроде GPT-4o-mini точность на бенчмарках контекстной приватности — стандартизированных тестах поведения моделей — после дообучения упала на 98–99%. При этом те же модели продолжали показывать высокие результаты в традиционных оценках безопасности. Исследователи описывают этот результат как «тихий сбой».

Это расхождение также указывает на пробел в самом наборе инструментов тестирования: традиционные оценки безопасности не предназначены для измерения суждений о контекстной приватности — понимания того, кто запрашивает информацию и зачем. Поэтому модель может пройти все проверки, которые проводит команда, и при этом неправильно обращаться с теми сценариями обмена информацией, которые эти проверки никогда не моделируют.

Безобидные данные, вредные последствия

Часть дискомфорта от этого вывода связана с самими обучающими данными. Коллапс проявился на наборах данных, которые большинство команд сочло бы безобидными, включая эмпатические диалоги и взаимодействия в клиентской поддержке.

В исследовании тестировались шесть моделей — как закрытых, так и с открытыми весами (открытые веса означают, что обученные параметры модели публично доступны, и любой может скачать и дообучить ее). Уязвимость проявилась в нескольких семействах моделей, что указывает: это не особенность одного вендора. Она также сохранялась на наборах данных, охватывающих агентское использование инструментов и задачи с памятью.

Команда также изучила внутреннее устройство моделей, чтобы определить, где возникает повреждение. Представления, связанные с приватностью, в глубоких слоях моделей оказались особенно хрупкими, и эти признаки оказались более уязвимыми к дообучению, чем признаки, привязанные к конкретной обучаемой задаче.

Не первое предупреждение

Выводы Беркли вписываются в тенденцию, которая формировалась уже некоторое время. Исследование Стэнфорда 2024 года сообщало, что даже незначительное дообучение может подорвать безопасность моделей вроде GPT-3.5 и Llama-2-Chat. Та более ранняя работа была сосредоточена на защитных механизмах в целом. Исследование Беркли сужает фокус до приватности и добавляет нюанс: деградация не проявляется там, где ее ищут.

Что это значит для компаний, строящих продукты на ИИ

Больше всего затронуты компании, которые адаптируют базовые модели для собственных продуктов. Дообучение — один из самых распространенных способов сделать универсальную модель полезной для конкретного рабочего процесса. Если дообучение на обычных транскриптах поддержки может подорвать суждения модели о приватности, такие развертывания могут нести риски, о которых их создатели не знают, — и успешное прохождение стандартной оценки безопасности дает лишь ложное чувство уверенности.

Исследователи призывают к разработке лучших методов оценки, специально созданных для проверки суждений о приватности у ИИ-агентов в реальных взаимодействиях. Для организаций, использующих дообученные модели, этот призыв указывает на развитие, за которым стоит следить: специализированные оценки приватности, проверяющие суждения агентов в реальном времени. Поскольку уязвимость затрагивает и закрытые, и открытые модели, ни одна из сторон не может считать эту проблему чужой. А если признаки приватности в глубоких слоях уникально хрупки, следующий шаг — определить, как защитить их во время обучения, не жертвуя качеством выполнения задач, за которое компании платят.

Об этих результатах сообщила CryptoBriefing в пятницу, 6 ноября 2026 года.