Обучение одной ИИ-модели, хорошо справляющейся со всеми задачами, обходится дорого. Salesforce AI Research утверждает, что существует более дешёвый путь: сначала обучить нескольких специалистов, а затем перенести их знания в единую модель.

В препринте, опубликованном 5 ноября 2026 года, команда сообщает, что раздельное обучение специалистов с последующим их объединением показало результаты на уровне совместного обучения с подкреплением в комбинированной настройке «математика плюс код» — при этом суммарно было использовано на 42% меньше FLOPs для обучения.

Что именно тестировали исследователи

Работа называется "Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO" и размещена на arXiv:2611.08453.

GRPO расшифровывается как Group Relative Policy Optimization. Это техника обучения с подкреплением, при которой модель обучается на проверяемых наградах за результат: модель получает «зачёт», когда правильность её результата можно проверить. OPD означает on-policy дистилляцию. FLOPs, или операции с плавающей запятой, служат мерилом вычислительных затрат на обучение на протяжении всего исследования — и это важно, поскольку они тесно коррелируют со временем и инфраструктурными издержками каждого запуска обучения.

Исследование сравнивает эти два подхода по простому критерию: сколько точности на отложенных задачах даёт каждый метод на единицу затраченного вычислительного ресурса обучения? Отложенные задачи — это задачи, исключённые из обучения, поэтому точность на них отражает обобщение, а не запоминание. Для ответа на этот вопрос исследователи измеряли точность на отложенных задачах относительно FLOPs обучения на нескольких доменах, включая математику и код, при разной сложности задач и разных конфигурациях учителей.

Главный результат: сначала специалисты, затем объединение

Ключевая находка связана с тем, что в работе называется multi-teacher OPD. Вместо обучения одной модели на математике и коде одновременно с помощью GRPO исследователи сначала обучили отдельные GRPO-«экспертные» чекпоинты для каждого домена. Затем они дистиллировали этих экспертов в единую модель-ученика. Дистилляция здесь означает обучение ученика воспроизводить выходы экспертов, передавая их возможности без повторного полного RL-процесса на объединённых доменах.

В настройке «математика плюс код» модель-ученик достигла результатов, сопоставимых с совместным обучением GRPO, при этом суммарный счёт за вычисления оказался на 42% ниже. Экономика — это суть: работа по обучению с подкреплением оплачивалась один раз для каждого специалиста, а объединённый ученик впитал её через проход дистилляции, который в работе оценён как малая доля этого счёта.

Сам шаг объединения оказался дешёвым. Согласно исследованию, дистилляция составила лишь 5,2% затрат на обучение специалистов в случае двух доменов.

Когда конфигурация расширилась до четырёх доменов, доля дистилляции выросла до 8,0% от FLOPs обучения специалистов.

Где дистилляция оказалась слабее

Однако работа не объявляет дистилляцию безусловным победителем. Когда OPD опиралась на внешних дообученных учителей — то есть модели, обученные в других местах, а не внутренние эксперты, — она в целом уступала GRPO в расчёте на FLOP. Кроме того, внешние учителя, как правило, делали ответы учеников избыточно длинными.

Тем не менее на фронте учителей был и светлый момент. Self-GRPO-учители, построенные на основе более ранних чекпоинтов самой ученицы, показали высокую эффективность в восстановлении точности на одном домене. В сводке исследования описано сокращение FLOPs дистилляции до 50 раз в этом сценарии.

Почему результат важен для бюджетов на обучение ИИ

Исследование вписывается в более широкие усилия Salesforce по удешевлению пост-тренинга больших языковых моделей. Оно также опирается на продолжающуюся разработку пайплайнов, использующих обучение с подкреплением с проверяемыми наградами — семейство, к которому относится GRPO. Пост-тренинг — это этап, формирующий поведение модели после базового обучения, и именно поэтому сравнения точности на FLOP, подобные этому, привлекают внимание команд, балансирующих между целями по качеству и ограниченными вычислительными бюджетами.

Четырёхдоменные цифры намекают на масштабируемость. Доля дистилляции в затратах выросла с 5,2% до 8,0% при удвоении числа доменов, что говорит о том, что шаг объединения остаётся относительно доступным по мере роста числа экспертов — по крайней мере, в рамках протестированных конфигураций.

Есть и оговорки, которые стоит учитывать. Это препринт, поэтому он ещё не прошёл рецензирование, а ключевой показатель в 42% получен в рамках конкретного сравнения двух доменов — математики и кода. Дальнейшие события, за которыми стоит следить, вполне конкретны: формальное рецензирование и то, сохранится ли преимущество подхода «раздели, затем объедини» на доменах и конфигурациях за пределами протестированных.

Оригинальный репортаж был опубликован CryptoBriefing, где его отредактировал Диего Альмада Лопес (Diego Almada Lopez).