Un nuevo artículo de investigación de la Universidad Carnegie Mellon argumenta que el preentrenamiento, el ajuste fino y el aprendizaje por refuerzo pueden ejecutarse como un solo algoritmo en lugar de tres etapas de entrenamiento separadas.

La mayoría de los modelos fundacionales —los modelos grandes y de propósito general que sirven de base para muchos sistemas de IA— se construyen como un menú de tres tiempos: primero el preentrenamiento, luego el ajuste fino y el aprendizaje por refuerzo de postre. El estudio de Carnegie Mellon sugiere que estos cursos funcionarían mejor servidos en un solo plato.

El artículo, titulado “Training Foundation Models with a Single Algorithm”, fue publicado en arXiv el 29 de octubre de 2026, un servidor de preprints donde las investigaciones suelen divulgarse antes de la revisión por pares formal. Su autor principal es Yuda Song, de Carnegie Mellon, quien trabajó junto a colaboradores de la Universidad Johns Hopkins y Aurora Innovation. Según el estudio, combinar los tres tipos de datos de entrenamiento en un método unificado puede superar el enfoque tradicional por etapas.

Lo que hicieron realmente los investigadores

La idea central es un replanteamiento. El equipo trata cada etapa de entrenamiento como un ajuste de máxima verosimilitud de datos generados por el modelo.

Ese cambio mueve las decisiones importantes a un nuevo lugar. En lugar de una secuencia rígida de fases distintas, el marco pone el énfasis en la composición de los datos y su programación. Bajo esta visión, la diferencia entre preentrenamiento, ajuste fino y aprendizaje por refuerzo se convierte en una cuestión de qué datos se usan y cuándo, en lugar de qué algoritmo se aplica. Los conjuntos de datos estáticos —los usados en el preentrenamiento y el ajuste fino supervisado— se integran con la gestión de datos utilizada en el aprendizaje por refuerzo, y todo fluye a través de un único marco de entrenamiento.

Los resultados hasta ahora

Según el artículo, el enfoque unificado mejoró el balance entre precisión y cómputo. En términos prácticos, los modelos entregaron más rendimiento con el mismo presupuesto de procesamiento.

El método también superó al entrenamiento por etapas en varias medidas. Estas incluyeron evaluaciones dentro de la distribución, generalización y preparación para el aprendizaje continuo. Los investigadores también informan que el entrenamiento unificado ayudó a los modelos a conservar capacidades más amplias en muchas tareas.

El marco elimina la necesidad de una infraestructura separada construida para cada etapa de entrenamiento, lo que, según los autores, simplifica los sistemas de entrenamiento en general. Los experimentos cubrieron modelos de alrededor de 124 millones de parámetros y alrededor de 0,76 mil millones de parámetros —escalas muy por debajo de las de los modelos más grandes comúnmente descritos como modelos fundacionales, por lo que la evidencia de respaldo del artículo proviene de una porción comparativamente modesta del espectro de tamaños de modelos.

Por qué existe la receta de tres etapas

El flujo por etapas se volvió el estándar porque cada fase parecía cumplir una función distinta. El preentrenamiento construye conocimiento amplio, el ajuste fino enseña al modelo a seguir instrucciones y el aprendizaje por refuerzo moldea el comportamiento hacia resultados preferidos.

El artículo de CMU desafía directamente esa separación. Se describe como la primera presentación pública de un marco de entrenamiento unificado respaldado por experimentos.

Los autores van un paso más allá. Argumentan que dicho marco podría abrir nuevas formas de entender cómo emergen las capacidades en los modelos y cómo esas capacidades se conservan a medida que los modelos evolucionan.

Lo que esto significa para los desarrolladores de IA

Al 30 de octubre de 2026, la investigación no había producido aplicaciones comerciales ni alianzas de mercado destacables. La discusión se ha mantenido principalmente dentro de la comunidad académica, centrada en lo que un sistema de entrenamiento único podría significar para el desarrollo de modelos. La implicación práctica declarada del artículo para los desarrolladores es que un único marco de entrenamiento podría reemplazar los sistemas separados construidos actualmente para cada etapa. Por ahora, el trabajo sigue siendo un resultado de investigación más que una técnica implementada.

Para quienes siguen este trabajo, dos marcadores concretos se derivan del estado actual del artículo: aún no ha pasado por una revisión por pares formal y sus experimentos reportados se detienen en las escalas de parámetros descritas anteriormente. La replicación independiente y los estudios de seguimiento a mayores escalas son los puntos de control visibles a medida que la investigación circula.