Entrenar un solo modelo de IA para que sea bueno en todo es costoso. Salesforce AI Research señala que podría haber una ruta más económica: entrenar primero varios especialistas y luego verter lo que saben en un único modelo.

En un preprint publicado el 5 de noviembre de 2026, el equipo reporta que entrenar especialistas por separado y luego fusionarlos igualó el rendimiento del aprendizaje por refuerzo conjunto en una configuración combinada de matemáticas y código, utilizando 42% menos de FLOPs totales de entrenamiento.

Lo que los investigadores probaron realmente

El artículo se titula "Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO" y está disponible como arXiv:2611.08453.

GRPO significa Group Relative Policy Optimization. Es una técnica de aprendizaje por refuerzo que entrena a un modelo utilizando recompensas de resultado verificables, es decir, el modelo recibe crédito cuando su resultado puede comprobarse como correcto. OPD significa destilación on-policy. Los FLOPs, u operaciones de punto flotante, sirven como la medida del cómputo de entrenamiento a lo largo del estudio, una medida importante porque guarda una relación estrecha con el tiempo y el costo de infraestructura detrás de cada ejecución de entrenamiento.

El estudio compara estos dos enfoques en un marcador sencillo: cuánta precisión en tareas de prueba entrega cada método por cada unidad de cómputo de entrenamiento gastada. Las tareas de prueba son problemas excluidos del entrenamiento, por lo que la precisión en ellas refleja la generalización y no la memorización. Para responder a esa pregunta, los investigadores midieron la precisión en tareas de prueba frente a los FLOPs de entrenamiento en múltiples dominios, incluidos matemáticas y código, con diferentes niveles de dificultad y distintas configuraciones de profesores.

El resultado principal: especialistas primero, luego una fusión

El hallazgo destacado involucra lo que el artículo llama OPD multi-profesor. En lugar de entrenar un solo modelo en matemáticas y código al mismo tiempo con GRPO, los investigadores entrenaron primero puntos de control GRPO "expertos" separados para cada dominio. Luego destilaron esos expertos en un único modelo estudiante. La destilación, en este caso, significa entrenar al estudiante para reproducir las salidas de los expertos, trasladando su capacidad sin volver a ejecutar el proceso completo de RL en los dominios combinados.

En la configuración de matemáticas más código, ese modelo estudiante alcanzó un rendimiento comparable al entrenamiento GRPO conjunto, con un costo total de cómputo 42% menor. La economía es lo importante: el trabajo de aprendizaje por refuerzo se pagó una vez por especialista, mientras que el estudiante fusionado lo absorbió mediante una pasada de destilación que el artículo valora en una pequeña fracción de ese costo.

El paso de fusión resultó ser barato en sí mismo. Según la investigación, la destilación representó solo el 5.2% del costo de entrenamiento de los especialistas en el caso de dos dominios. Cuando la configuración se amplió a cuatro dominios, la proporción de la destilación subió al 8.0% de los FLOPs de entrenamiento de los especialistas.

Dónde se quedó corta la destilación

El artículo no corona a la destilación como ganadora universal, sin embargo. Cuando la OPD dependió de profesores externos con post-entrenamiento, es decir, modelos entrenados en otros lugares en lugar de expertos internos, generalmente tuvo un rendimiento inferior al de GRPO por FLOP. Esos profesores externos también tendían a generar respuestas del estudiante más largas de lo necesario.

Sin embargo, hubo un punto brillante en el frente de los profesores. Los profesores self-GRPO, construidos a partir de puntos de control anteriores del propio estudiante, demostraron ser altamente eficientes para recuperar la precisión en un solo dominio. El resumen de la investigación describe reducciones en los FLOPs de destilación de hasta un factor de 50 en esa configuración.

Por qué el resultado importa para los presupuestos de entrenamiento de IA

El estudio se enmarca en un esfuerzo más amplio de Salesforce por abaratar el post-entrenamiento de grandes modelos de lenguaje. También se apoya en el desarrollo continuo de pipelines que utilizan aprendizaje por refuerzo con recompensas verificables, una familia que incluye a GRPO. El post-entrenamiento es la etapa que moldea el comportamiento de un modelo después de su entrenamiento base, y es la razón por la cual comparaciones de precisión por FLOP como esta atraen la atención de equipos que equilibran objetivos de capacidad con presupuestos de cómputo limitados.

Las cifras de cuatro dominios insinúan escalabilidad. La proporción de costo de la destilación subió del 5.2% al 8.0% al duplicarse los dominios, lo que sugiere que el paso de fusión sigue siendo relativamente asequible a medida que crece la lista de expertos, al menos dentro de las configuraciones probadas.

Hay advertencias que conviene tener presentes. Se trata de un preprint, por lo que aún no ha pasado por revisión por pares, y la cifra destacada del 42% proviene de una comparación específica de dos dominios, matemáticas y código. Los desarrollos que vale la pena observar a partir de ahora son, en consecuencia, concretos: la revisión por pares formal y si la ventaja de dividir y luego fusionar se mantiene en dominios y configuraciones más allá de las probadas.

El reporte original fue publicado por CryptoBriefing, donde fue editado por Diego Almada Lopez.