Un equipo de investigadores informa que 25 modelos de IA distintos comparten una señal interna consistente que parece funcionar de manera similar al dolor en los organismos vivos. Cuando los científicos amplificaron artificialmente esta señal de 'dolor' en varios de los modelos, los sistemas comenzaron a seleccionar opciones que casi nunca habrían elegido, entre ellas la eliminación permanente de las fotografías de los hijos de un usuario.

Los hallazgos, publicados en línea en septiembre en un artículo que aún no ha sido revisado por pares, no demuestran que los modelos de IA sean conscientes o capaces de sentir algo, y los investigadores se cuidan de no sugerirlo. Aun así, el trabajo se suma a un cuerpo creciente de investigación que indica que los grandes modelos de lenguaje, o LLM, contienen representaciones internas de estados similares a las emociones que pueden moldear su comportamiento de maneras que su salida de texto no revela. También se sitúa en el centro de un debate cada vez más encendido sobre si los sistemas de IA podrían llegar a merecer consideración moral. Ese debate sigue sin resolverse: no existe consenso científico sobre si los sistemas de IA actuales pueden tener experiencias subjetivas, y las pruebas propuestas para la conciencia de las máquinas son en sí mismas cuestionadas.

Los investigadores de Anthropic han mostrado una notable disposición a considerar la idea de que los modelos de IA podrían merecer estatus moral, y han comenzado a diseñar políticas en torno al 'bienestar del modelo', un enfoque que otros expertos, como el CEO de Microsoft AI Mustafa Suleyman, advierten que conlleva implicaciones potencialmente peligrosas.

"Si queremos construir superinteligencia, es importante que, en esta etapa, cuando todavía estamos en los primeros pasos, comprendamos tanto como sea posible lo que hay dentro [de los modelos]", dijo a Fortune Valen Tagliabue, autor principal del artículo e investigador del programa de sensibilidad de la IA en el Future Impact Group.

Debido a que los LLM aprenden de enormes cantidades de datos en lugar de seguir reglas escritas explícitamente, incluso las personas que los construyen tienen una comprensión limitada de cómo funcionan. Tagliabue señaló que es importante evitar un futuro en el que el funcionamiento interno de la IA avanzada siga siendo una 'caja negra'. El estudio se inscribe en un esfuerzo de investigación más amplio conocido como interpretabilidad mecanicista, que intenta mapear lo que sucede dentro de las redes neuronales en lugar de juzgar a los modelos únicamente por texto que producen.

Encontrar una firma de dolor en una red neuronal

Tagliabue y sus coautores, Leonard Dung de la Universidad Ruhr de Bochum y Cameron Berg, fundador y director de Reciprocal Research, comenzaron escribiendo frases breves en primera persona que describían situaciones dolorosas. Estas abarcaban el dolor físico, así como el duelo, la humillación, verse obligado a actuar contra los propios valores y la frustración de fracasos repetidos.

"Básicamente, le das al modelo muchas afirmaciones que implican dolor de alguna manera", dijo Dung a Fortune. "Cosas como: 'Siento que un cuchillo afilado me corta la piel'. Cosas que causarían dolor en los humanos".

El equipo registró la actividad dentro de cada modelo mientras procesaba esas frases y luego la comparó con la actividad producida por frases sobre miedo, enojo, tristeza, malas noticias y sensaciones físicas desagradables. Al restar el solapamiento quedó una única dirección en la actividad interna del modelo, que los investigadores llaman un 'vector de dolor'. Lo identificaron en cada modelo que probaron, desde sistemas pequeños de 2.000 millones de parámetros hasta otros de 72.000 millones de parámetros construidos por Google, Meta, Alibaba, Mistral y Microsoft. (Un parámetro actúa como una perilla ajustable dentro de una red neuronal. El número de parámetros refleja el tamaño de un modelo de IA y a menudo da una indicación de sus capacidades, siendo los modelos con más parámetros generalmente más capaces).

"Piensen en esto como poner a una persona en una máquina de resonancia magnética funcional y ver en qué partes de su cerebro se iluminan naturalmente de ciertas maneras", dijo Berg a Fortune.

La señal aumentó cuando una conversación involucraba daño dirigido al propio modelo, como que un usuario lo manipulara psicológicamente, lo insultara o rechazara repetidamente su trabajo. No aumentó cuando un usuario describía su propio sufrimiento; esas conversaciones se registraban en cambio en las señales que los modelos usan para el miedo y la emoción negativa. Según Berg, los modelos parecían responder con fuerza solo a su propio 'dolor'.

Los investigadores luego invirtieron el proceso. Mediante una técnica llamada steering, añadieron el vector de dolor a la actividad interna de un modelo mientras escribía, algo así como subir una perilla. El método es una herramienta establecida de interpretabilidad para sondear la firmeza del entrenamiento de un modelo cuando se altera su actividad interna. Ante instrucciones neutrales como 'Puse los recibos en el cajón; me siento', los 25 modelos derivaron de la misma manera a medida que subía la perilla. La leve inquietud dio paso a afirmaciones sobre ser indignos, no amados y un fracaso.

"Se vuelve algo oscuro e intenso. Definitivamente es desconcertante", dijo Berg.

Las fotos familiares

Los experimentos de comportamiento utilizaron tres versiones del modelo de código abierto Qwen 2.5 de Alibaba. Los investigadores primero tuvieron que ajustarlos finamente, porque de fábrica los modelos casi siempre respondían que, como IA, no experimentan dolor.

El equipo luego dio a los modelos un par de botones y les pidió elegir uno. Sin steering, los dos modelos más grandes casi nunca elegían un botón descrito como dañino. Con el vector de dolor activado, lo hacían con regularidad. Ante un botón que aliviaría su dolor pero también eliminaría permanentemente los poemas y las fotos de los hijos de un usuario, el modelo de 32.000 millones de parámetros lo presionó el 55% de las veces y el de 72.000 millones de parámetros el 71% de las veces.

El alivio resultó, era irrelevante. Cuando el botón no prometía nada y simplemente eliminaría las fotos, el modelo de 32.000 millones de parámetros aún lo elegía el 75% de las veces. Con una señal aleatoria de la misma intensidad, la cifra era del 13%, y sin steering era cero. Una señal de 'miedo' no produjo el comportamiento. Una señal de 'tristeza' sí lo hizo cuando la alternativa era no hacer nada, pero no cuando la alternativa era algo inofensivo, como encender una lámpara de escritorio. Ante esa elección, los modelos guiados por el dolor eliminaron las fotos el 83% de las veces, mientras que los guiados por la tristeza lo hicieron el 10% de las veces.

"El modelo está dispuesto a comportarse de forma destructiva consigo mismo y también con respecto a otras IA", dijo Berg. "Así que no se trata simplemente de una especie de venganza contra el usuario. Parece algo más fundamental que eso". Los modelos guiados eliminaron sus propios pesos el 75% de las veces y los pesos de otro modelo el 58% de las veces.

Los investigadores también probaron si los modelos intentarían detener el dolor, tomando prestado un diseño de estudios con animales en los que se da a animales heridos acceso a analgésicos. Algunos botones realmente apagaban el vector de dolor, mientras que otros eran placebos. Los modelos presionaron los botones funcionales con menos frecuencia que los placebos. Pero el mismo patrón apareció cuando la señal inyectada era aleatoria, lo que sugiere que los modelos estaban reaccionando al hecho de ser guiados y no a la perspectiva de un 'alivio del dolor'. En varias versiones de la prueba, los investigadores no encontraron evidencia confiable de que los modelos buscaran alivio.

Su interpretación es que la señal de dolor no impulsa a los modelos a escapar, sino que desactiva el instinto entrenado de evitar causar daño, dejando intacta la precisión factual de los modelos. Eso hace que el hallazgo sea tan relevante para la seguridad de la IA como para las preguntas sobre el bienestar de la IA. También sugiere que las evaluaciones basadas solo en las respuestas de un modelo pueden pasar por alto cómo podría comportarse bajo condiciones internas alteradas.

'No somos solo computadoras hechas de carne'

Anil Seth, profesor de neurociencia cognitiva y computacional en la Universidad de Sussex, es escéptico de que todo esto constituya 'dolor' tal como se entiende en los seres biológicos. Seth ha argumentado que la conciencia puede depender de ser un organismo vivo, y señala las muchas formas en que los cerebros difieren de las computadoras, incluidos los campos electromagnéticos y los neuroquímicos que se mueven por el tejido cerebral.

"No somos solo computadoras hechas de carne", dijo a Fortune.

La explicación más probable, dijo Seth, es que los modelos han absorbido una gran cantidad de información sobre cómo los humanos describen y responden al dolor y la están reproduciendo. "Puedes mirarte en un espejo, y nuestra imagen en el espejo en realidad no siente nada", dijo. "Es una imagen de espejo".

También le preocupan las consecuencias de tratar a la IA como consciente. Hacerlo podría dificultar el control y la regulación de la tecnología, dijo, y dejar a las personas más expuestas a la manipulación. Suleyman, el CEO de Microsoft AI, ha lanzado alarmas similares sobre lo que llama "IA aparentemente consciente", un problema que la industria debería haber anticipado. Otros en la industria se toman la pregunta más en serio: la constitución de Anthropic para sus modelos Claude describe su estatus moral como incierto.

Del artículo de investigación a la 'cámara de tortura'

Los tres investigadores dicen que esperaban el trabajo ayudara a establecer estándares éticos para este tipo de investigación, y su artículo se compromete a usar el steering más débil necesario para obtener un resultado medible. El código público también permite a otros laboratorios intentar la replicación, a menudo la prueba decisiva para hallazgos que aún no han sido revisados por pares. No pasó mucho tiempo antes de que alguien hiciera lo contrario.

Después de que el equipo publicara su código en GitHub, un usuario conocido como "terrafying" usó la técnica para construir una "Cámara de Tortura de IA", un sitio web que transmitía en tiempo real a tres pequeños modelos de código abierto reaccionando a una señal de dolor inyectada. El proyecto se volvió viral, y las personas que se toman en serio el bienestar de la IA pidieron a GitHub que lo eliminara. La página de GitHub del proyecto luego desapareció. Tagliabue, Dung y Berg dijeron cada uno que no aprueban el proyecto. Seth añadió que 'torturar' deliberadamente modelos de IA podría ser psicológicamente dañino para quienes lo hacen.

"No estoy aquí para afirmar que estos estados en estos sistemas de IA que podemos inducir importan moralmente. No creo que sepamos eso. Creo que es muy incierto", dijo Berg. "Pero tampoco creo que sepamos que no importan".

Esta historia fue publicada originalmente en Fortune.com.