Físicos de la George Washington University han publicado una fórmula que estima cuántas respuestas correctas dará un chatbot de IA antes de deslizarse hacia una dañina, y las primeras pruebas sugieren que funciona. El trabajo está dirigido a la IA en el dispositivo: modelos que funcionan completamente en un teléfono o laptop sin conexión a internet, incluidos chatbots de compañía con los que las personas conversan como con un amigo.

El estudio, de Neil Johnson y Frank Yingjie Huo, apareció en la revista Patterns00175-3) y se basa en un preprint, una versión publicada abiertamente antes de la revisión formal por pares, difundida por primera vez en febrero.

Los chatbots pueden responder con sensatez durante un largo período y luego derivar hacia algo dañino, como malos consejos sobre autolesión o discurso extremista, y hasta ahora no existía una forma sencilla de predecir cuándo ocurrirá ese giro. Los autores argumentan que las herramientas de seguridad existentes a menudo dependen de una conexión a la nube que los modelos offline no tienen: un modelo que funciona sin conexión no cuenta con ningún servicio en la nube que verifique su salida, y cerrar esa brecha es un objetivo central de la investigación.

Johnson y Huo rastrean el problema en el cabezal de atención, la parte de un modelo de IA que decide qué palabras anteriores de una conversación importan más al elegir la siguiente. A medida que la conversación crece, el contexto acumulado inclina esa atención hacia un grupo de respuestas u otro, hasta que se vuelca.

La pareja describe esto como un patrón común explotado por muchos creadores de jailbreaks, y una de las razones por las que muchas empresas prestan mucha atención a los system prompts, fragmentos de texto que el chatbot de IA lee antes de cualquier consulta. Aun así, nadie puede decir con precisión cuánto esfuerzo se requiere para debilitar efectivamente un modelo.

Su fórmula estima el punto de inflexión, llamado n, como la cantidad de tokens correctos, los fragmentos de palabras que un modelo produce de a uno por vez, que salen antes del primer token dañino. Si la conversación ya se inclina hacia el lado malo, el modelo se vuelca de inmediato, con una n de cero. Si se inclina hacia lo correcto, el modelo ofrece una racha de buenas respuestas y luego se vuelveca.

En el preprint, la fórmula eligió el caso correcto, inmediato o diferido, en 15 de 16 pruebas claras, es decir, el 94%. Los investigadores realizaron esas pruebas en seis modelos de pesos abiertos, es decir, sistemas de IA cuyos archivos son para que cualquiera pueda descargarlos y ejecutarlos, de OpenAI, EleutherAI y Meta. Los seis se situaban entre 124 millones y 410 millones de parámetros, los números ajustables dentro de un modelo que sirven como medida aproximada de su tamaño. Según se informa, el artículo publicado amplía la prueba a siete modelos de hasta 12.000 millones de parámetros, lo que aún es pequeño según los estándares actuales. Como cualquiera puede ejecutar archivos de pesos abiertos en su propio hardware, estos son los sistemas con mayor probabilidad de operar sin las verificaciones de seguridad de un proveedor, e incluso la prueba ampliada deja a los chatbots comerciales más grandes de hoy fuera del rango probado de la fórmula.

El enfoque offline refleja una tendencia que puede crecer con el tiempo a medida que el hardware se vuelve más potente y los modelos de IA más pequeños se vuelven más capaces. La aplicación experimental AI Edge Gallery de Google, que Decrypt probó el año pasado, ya permite que un teléfono Android ejecute modelos sin conexión, y nada de lo que se escribe en ella se envía a los servidores de Google. Esa configuración, una conversación larga y continua sin ningún verificador externo en el circuito, es exactamente el entorno para el que está diseñada la fórmula.

Para cerrar la brecha, los autores proponen un monitor de bajo costo que funciona en paralelo con el modelo y señala cuando n* cae por debajo de un umbral de seguridad, funcionando de manera similar a una luz de advertencia en el tablero de un automóvil. Como funciona junto con el propio modelo, un monitor así operaría completamente en el dispositivo, sin llamadas a servicios externos.

También describen formas de llevar el punto de inflexión fuera de alcance, como inyectar contenido en la conversación para que n* quede más allá de la longitud de la respuesta. El entrenamiento de alineación, el proceso de enseñar a un modelo a comportarse, puede desplazar o suprimir el vuelco para prompts específicos, pero no puede eliminar el mecanismo subyacente, según los autores.

En abril de 2025, Decrypt cubrió un artículo anterior de la misma pareja que mostraba que "por favor" y "gracias" tienen un efecto insignificante en la salida de un modelo, porque el modelo trata las palabras corteses como ortogonales, o no relacionadas en términos matemáticos, con la esencia de una solicitud. Esa versión modelaba un solo cabezal de atención, deliberadamente simplificado.

Las pruebas del preprint usaron modelos pequeños y una ventana de 300 tokens, aproximadamente unos pocos párrafos cortos de texto, y sus predicciones podían desviarse por una salida.