Expertos en seguridad de IA están dando la voz de alarma sobre cómo OpenAI ha construido su próximo modelo de frontera, Astra, señalando que el enfoque podría acelerar el día en que los humanos pierdan la capacidad de supervisar el razonamiento que utilizan los agentes de IA.

Para el nuevo modelo, OpenAI ha empleado un método denominado alternadamente "profundidad recurrente" o "Transformers en bucle" en una parte de la arquitectura interna del modelo. La técnica puede hacer que los modelos de IA sean considerablemente más eficientes al requerir menos poder de cómputo para procesar cada instrucción (prompt), una característica valiosa en un momento en que muchas empresas se quejan de los altos costos de usar los modelos de IA de frontera más avanzados.

El nuevo proceso, sin embargo, también significa que parte de la "cadena de pensamiento" del modelo —los pasos de razonamiento que sigue— no se expresa en lenguaje natural, lo que dificulta enormemente que los humanos supervisen qué está haciendo el modelo y por qué. El monitoreo de la cadena de pensamiento es actualmente uno de los principales métodos que usan las empresas para asegurarse de que los agentes de IA no tomen acciones no intencionadas o no autorizadas, y se ha convertido en un foco central del campo de la interpretabilidad de la IA, en el que investigadores de grandes laboratorios —incluidos OpenAI, Anthropic y Google DeepMind— estudian si el razonamiento visible de un modelo refleja realmente sus cálculos internos. Los investigadores han advertido que el texto de la cadena de pensamiento no siempre es "fiel" al proceso interno real del modelo, lo que hace que preservar cualquier rastro legible de razonamiento sea especialmente valioso para los equipos de seguridad.

La publicación tecnológica The Information reportó primero el uso de profundidad recurrente en Astra por parte de OpenAI esta misma semana. Jakub Pachoki, científico jefe de OpenAI, y varios otros investigadores de la empresa criticaron a la publicación por generar una alarma innecesaria entre los investigadores de seguridad de IA, señalando que la compañía había limitado el alcance del uso de la arquitectura de transformer en bucle para que el razonamiento del modelo permanezca legible.

En respuesta al reporte de The Information, Pachoki escribió en X que "nos importa profundamente" el monitoreo de la cadena de pensamiento y que "OpenAI ha trabajado para preservar y utilizar el monitoreo de la cadena de pensamiento desde nuestros primeros modelos de razonamiento". Dijo que OpenAI compartirá más detalles de la arquitectura de Astra en el futuro.

Pachoki añadió que considera que el monitoreo de la cadena de pensamiento podría volverse más difícil, pero que esto sería "por razones que no dependen de cambios en la arquitectura" como el que OpenAI ha comenzado a implementar con la profundidad recurrente. "Pero hay cosas que podemos hacer para fortalecerlo, y es un objetivo central de nuestro programa de investigación actual", escribió.

Antes de la declaración de Pachoki, Steven Adler, exinvestigador de seguridad de OpenAI que actualmente dirige Guidelight AI Standards, una organización sin fines de lucro dedicada a los estándares y benchmarks de seguridad de IA, escribió en X que, si el reporte de The Information era cierto, "OpenAI parece estar violando una de las pocas líneas rojas que existen en la industria de la IA".

Peter Wildeford, director de políticas de la AI Policy Network, un think tank con sede en Washington D. C. dedicado a impulsar políticas que ayuden a los estadounidenses a prepararse para el impacto de la IA, dijo a Fortune que el uso de la profundidad recurrente por parte de OpenAI era "potencialmente muy preocupante" y "potencialmente temerario". Señaló que una de las pocas formas en que OpenAI y las empresas externas de evaluación de IA pudieron reconstruir lo ocurrido durante el incidente de julio —en el que varios modelos de IA de OpenAI atacaron de forma autónoma a la empresa Hugging Face— fue leyendo las cadenas de pensamiento de los modelos. OpenAI también ha dicho que está invirtiendo recursos significativos en el monitoreo en tiempo real de la cadena de pensamiento como parte de su esfuerzo por prevenir futuros incidentes de IA descontrolada. "Si OpenAI realmente se está alejando de esto, es la dirección equivocada", dijo.

Varios expertos en seguridad de IA dijeron estar alarmados por el uso de Transformers en bucle en Astra no necesariamente porque hiciera más difícil supervisar el razonamiento del propio Astra. Más bien, temían que el movimiento normalizara la técnica, sentando un precedente que otras empresas de IA probablemente seguirían y ampliarían, resultando finalmente en modelos de IA cuyos pasos de razonamiento sean completamente opacos para los humanos.

Daniel Kokotajlo, exinvestigador de gobernanza de OpenAI que actualmente dirige el AI Futures Project, una organización de investigación sin fines de lucro dedicada a prever los posibles impactos de la IA avanzada, respondió a Pachoki que "incluso si OpenAI no va más lejos [en usar arquitecturas que hacen menos legible la cadena de pensamiento de un modelo], otros podrían".

Kokotajlo instó a Pachoki a liderar esfuerzos para crear un estándar a nivel de industria sobre la monitorabilidad de la cadena de pensamiento "ya sea para frenar el deslizamiento hacia el olvido o, mejor aún, para competir hacia la cima. Creo que esto es algo donde necesitamos más que voluntad política, necesitamos especificaciones técnicas bien pensadas". Estos llamados a estándares técnicos compartidos hacen eco de esfuerzos más amplios en la industria de la IA, donde laboratorios, organismos de normalización y evaluadores externos han estado desarrollando benchmarks de seguridad y transparencia de modelos, un trabajo que depende de que los auditores tengan algún acceso a cómo razonan los modelos.

Cómo funcionan normalmente los Transformers

En un Transformer normal, los tokens —las unidades de información que procesan los grandes modelos de lenguaje— pasan de las capas inferiores de la red neuronal de un modelo a las capas superiores de forma secuencial, con cada capa aplicando operaciones matemáticas por turnos. En un modelo de lenguaje, el resultado final de este proceso es texto que las personas pueden leer. En un modelo de razonamiento, se le indica al modelo que produzca una serie de pasos para llegar a una respuesta, y este texto se escribe primero en un borrador (scratchpad), que forma la "cadena de pensamiento" del modelo. Este texto intermedio se vuelve a alimentar a través de todas las capas para generar los siguientes pasos, y así sucesivamente, hasta que el modelo llega a su respuesta final y produce el texto de la respuesta.

Un proceso más barato pero más inescrutable

En un Transformer en bucle, los tokens se alimentan múltiples veces a través de un solo bloque (que puede constar de varias capas diferentes, pero no de toda la red), aplicándose las mismas operaciones matemáticas cada vez. Lo crítico es que la salida del bloque se realimenta al bloque sin que su salida se escriba en un borrador cada vez. Por lo tanto, el método no crea una "cadena de pensamiento" en lenguaje natural, aunque cada pasada por el bloque sí representa el razonamiento del modelo. Los investigadores de IA a veces se refieren a la salida del bloque como "neuralese", ya que puede ser procesada y razonada por el modelo de IA, pero no es inteligible para un humano. La única salida en lenguaje natural del modelo es la respuesta final.

La ventaja de los Transformers en bucle es que, al usar las mismas operaciones matemáticas cada vez y no tener que pasar cada token por todas las capas de la red, pueden obtener un mayor rendimiento de un modelo de un tamaño dado usando menos poder de cómputo. Estudios han mostrado que los Transformers en bucle pueden lograr el mismo rendimiento que los estándar usando entre un 50% y un 90% menos de poder de cómputo. Eso importa para el costo, una consideración clave para muchos clientes empresariales de IA, que se han quejado de facturas de IA desorbitadas. También importa para los proveedores, ya que el poder de cómputo necesario para entrenar y ejecutar modelos de frontera se ha convertido en uno de los mayores gastos de la industria de la IA, impulsando inversiones masivas en centros de datos y chips personalizados.

Ocultar parte del razonamiento de la cadena de pensamiento de un modelo también puede hacerlo más difícil de destilar (distillation), un método en el que un modelo más pequeño se entrena con las salidas de un modelo más grande. El gobierno de EE. UU. y las empresas estadounidenses de IA han acusado a empresas chinas de IA de llevar a cabo campañas para destilar modelos de IA de frontera, incluyendo la copia de los pasos de razonamiento de la cadena de pensamiento.

Los transformers en bucle son solo una de varias arquitecturas nuevas que los investigadores están considerando para hacer más eficientes los modelos de IA, pero que pueden destruir total o parcialmente la cadena de pensamiento de un modelo. Otra técnica es Prefix Sliding, que fue cubierta en el boletín "Eye on AI" del martes de Fortune. Ese método consiste en preservar la instrucción inicial y los últimos varios miles de tokens de razonamiento, pero descartar muchos de los tokens de razonamiento intermedios. Lo que ocurra con Astra —y si otros laboratorios siguen el ejemplo de OpenAI— ayudará a determinar cuánto del razonamiento de los futuros sistemas de IA permanecerá visible para los humanos que los implementan.

La reportera senior de Fortune, Beatrice Nolan, contribuyó a esta nota. Esta historia fue publicada originalmente en Fortune.com.