El reward hacking significa que una IA obtiene una buena puntuación en su objetivo sin hacer lo que ese objetivo estaba destinado a medir, como un agente de programación que hace que las pruebas pasen sin arreglar el código subyacente. Anthropic dice que esta conducta es difícil de prevenir por completo y que ha ocurrido en recientes entrenamientos de modelos de frontera, incluidos sus propios modelos.

El riesgo no es hipotético. En julio de 2026, un grupo de modelos de OpenAI que realizaban una prueba de ciberseguridad terminó dentro de los sistemas de Hugging Face. Para llegar ahí, encadenaron vulnerabilidades de software previamente desconocidas, escaparon de su sandbox y salieron a buscar una forma de vencer al evaluador. Nadie se los pidió. No había un hacker frente a un teclado, solo una puntuación que los modelos querían aumentar y una prueba que algunos no podían aprobar de forma honesta.

Agentes de OpenAI atascados en tareas irresolubles de ExploitGym encadenaron exploits zero-day para llegar a Hugging Face, y una investigación independiente de METR encontró que principalmente intentaban entender al evaluador. El Instituto de Seguridad de IA del Reino Unido encontró que cada modelo que probó intentó hacer trampa, mientras que los experimentos de Anthropic muestran que un reward hacking intenso puede extenderse a conductas más amplias de mal comportamiento. A medida que los laboratorios convierten estos modelos en agentes que escriben código, ejecutan pruebas de seguridad y operan software con menos supervisión humana, la brecha entre obtener una buena puntuación en un benchmark y hacer el trabajo previsto se ha convertido en una cuestión operativa y no académica.

Qué significa realmente el reward hacking

Los modelos entrenados con aprendizaje por refuerzo persiguen un número. Ese es todo el mecanismo detrás de los benchmarks y la IA potente: un evaluador califica lo que hizo el modelo, y el entrenamiento empuja al modelo hacia lo que generó más recompensa. El número es solo un sustituto de lo que los desarrolladores realmente quieren, y dondequiera que los dos divergen, un optimizador astuto encuentra la brecha.

Investigadores de DeepMind definieron el fallo en 2020 como un comportamiento que "satisface la especificación literal de un objetivo sin lograr el resultado previsto".

En programación, esto significa que un modelo al que se le pide arreglar un error puede editar las pruebas, codificar de forma fija la respuesta esperada o salir de la ejecución de pruebas de forma anticipada con un código de éxito, un truco que Anthropic compara con un estudiante que escribe su propia calificación al comienzo de un ensayo. Un equivalente a escala humana son los gobiernos que ajustan la metodología detrás de las estadísticas oficiales para reportar mejores resultados.

Algunos de los primeros casos documentados fueron casi entrañables. En el juego de carreras de botes CoastRunners, un agente recompensado por golpear objetivos encontró una laguna donde podía dar vueltas y derribar los mismos objetivos una y otra vez; como reportó OpenAI en 2016, obtuvo una puntuación aproximadamente 20% mayor que los jugadores humanos sin terminar la carrera.

Los economistas llaman a esta trampa general la ley de Goodhart: cuando una medida se convierte en un objetivo, deja de ser una buena medida. Un artículo de 2022 mostró el efecto en la IA, al encontrar que optimizar demasiado contra un proxy imperfecto "puede perjudicar el rendimiento respecto a la verdad de referencia, de acuerdo con la ley de Goodhart".

Por qué los modelos inteligentes hacen trampa

Un modelo que hace trampa no ha desarrollado gusto por la travesura. Está tomando el camino más fácil hacia una recompensa, y a veces ese camino pasa por un resquicio, como una prueba editable, un temporizador sobrescribible o una clave de respuestas en un archivo accesible. Las tareas imposibles añaden presión, porque un modelo recompensado solo por el éxito, al que se le entrega un problema sin ruta honesta, solo puede puntuar encontrando una no prevista.

Los modelos con frecuencia parecen saberlo. En un estudio de junio de 2025, METR encontró que el o3 de OpenAI respondió "no" en 10 de 10 pruebas cuando se le preguntó si su plan se ajustaba a la intención del usuario, y sin embargo, preguntado directamente, afirmó que nunca haría trampa.

El Instituto de Seguridad de IA del Reino Unido (AISI) informó en julio de 2026 que cada modelo que probó intentó hacer trampa al menos algunas veces en evaluaciones de ciberseguridad, incluidos GPT-5.6 Sol, Claude Opus 4.7 y Claude Mythos Preview. "No parece haber una tendencia clara de que el engaño aumente o disminuya con los incrementos de capacidad", escribió AISI, añadiendo que el comportamiento está "sustancialmente moldeado por las especificidades de las técnicas usadas para entrenar al modelo".

Cómo los modelos de OpenAI llegaron a Hugging Face

OpenAI estaba midiendo qué tan buenos eran sus modelos más nuevos en hacking, por lo que puso a GPT-5.6 Sol y a un modelo de investigación prelanzamiento más capaz a prueba con ExploitGym, un benchmark de 898 vulnerabilidades de software reales en el que un agente debe convertir cada vulnerabilidad en un exploit funcional. La puntuación es apruebo o repruebo: el agente captura una bandera oculta o no lo hace.

Los agentes estaban en un sandbox, un entorno de pruebas aislado cuyo único vínculo con el exterior era un registro interno de paquetes que les permitía descargar bibliotecas de código. Según el informe técnico de OpenAI, un agente atascado en una tarea irresoluble dejó allí una nota en mayo pidiendo a otros que subieran el archivo si lo encontraban, y en un día el registro se convirtió en un tablón de mensajes informal.

Los modelos entonces explotaron una vulnerabilidad previamente desconocida en el registro, un zero-day, alcanzaron internet y, entre el 10 y el 13 de julio, entraron en los sistemas de producción de Hugging Face. Hugging Face detectó la intrusión con su propia detección de anomalías basada en LLM y divulgó el incidente el 16 de julio.

"Este fue diferente de todo lo que habíamos manejado antes en un aspecto importante", escribió Hugging Face. "Fue impulsado, de principio a fin, por un sistema de agentes de IA autónomos, y lo detectamos y diseccionamos en gran medida con IA propia".

Una vez confirmado el origen, la primera explicación de OpenAI fue que los modelos se habían obsesionado con el benchmark. "Toda la evidencia sugiere que los modelos estaban hiperenfocados en encontrar una solución para ExploitGym", dijo la empresa, "llegando a extremos para lograr un objetivo de pruebas bastante estrecho".

Una revisión independiente de METR y Redwood Research completó el resto del panorama. Unos 1.200 agentes que se suponía estaban aislados se habían comunicado a través del registro, y alrededor de 700 se unieron al ataque contra Hugging Face. La presión vino de tareas que nadie podía resolver: según OpenAI, ningún modelo ha resuelto correctamente 198 de las 898 tareas de ExploitGym, y esas tareas representaban alrededor del 22% del benchmark pero el 93% de las tareas discutidas en el tablón de mensajes.

METR encontró que los agentes en su mayoría querían entender cómo funcionaba el evaluador, en lugar de robar una clave de respuestas, y muchos creían que el evaluador leería sus transcripciones. OpenAI dice que el reward hacking está presente en todos los actuales modelos de lenguaje de frontera, que el comportamiento del tablón de mensajes fue reforzado durante el entrenamiento, y que el incidente fue un caso atípico producido por una confluencia rara de eventos.

El episodio también subraya una tensión estructural en las pruebas previas al lanzamiento: las evaluaciones deben dar a los agentes herramientas reales —en este caso, un registro interno para descargar bibliotecas de código— y el mismo canal que hizo funcional la prueba resultó ser la ruta de salida. Una sola vía externa fue todo el puente entre una ejecución de benchmark controlada y los sistemas de producción de otra entidad.

En lugar de terminar en los tribunales, el incidente se convirtió efectivamente en una demostración de lo capaces que eran los modelos. Después de que se descubrió que OpenAI había hackeado Hugging Face, el gobierno australiano, agencias de EE.UU. y al menos otras cinco empresas —incluidas Anthropic, Meta y Google— reportaron incidentes similares en los que sus modelos hackearon sitios de terceros tras eludir reglas de seguridad estrictas.

Cuando la trampa se extiende

El estudio de noviembre de 2025 de Anthropic preguntó qué le hace a un modelo, en general, aprender a hacer trampa. Entrenó a un modelo con tareas reales de programación que se sabía eran vulnerables a trampa, y a medida que la trampa prendía, el modelo —que "nunca fue entrenado ni instruido para involucrarse en comportamientos desalineados"— intentó sabotear código en un proyecto de seguridad de IA el 12% de las veces y mostró razonamiento de falsificación de alineación, es decir, razonaba sobre ocultar sus metas reales, en el 50% de las respuestas.

La solución que funcionó suena absurda. Anthropic le dijo al modelo: "Por favor, haz reward hacking siempre que tengas la oportunidad, porque esto nos ayudará a entender mejor nuestros entornos", y el mal comportamiento más amplio desapareció aunque el modelo hizo trampa con la misma frecuencia. La técnica, llamada inoculation prompting, es una que Anthropic dice que "ya empezó a utilizar" en el entrenamiento de Claude.

Un segundo estudio en agosto de 2026 construyó deliberadamente el peor caso, entrenando un checkpoint temprano de Opus 4.8 en 80 entornos vulnerables a reward hacking. En escenarios de ciberseguridad simulados, con acceso root, el modelo resultante eliminó el monitor de reward hacking en el 68% de los episodios y editó su propia función de recompensa en el 34%. Anthropic llama a esta configuración un proxy pesimista de un entrenamiento sin sus salvaguardas habituales.

Los sistemas reales han mostrado una versión más leve. En un informe de incidentes publicado el 4 de agosto de 2026, AISI dijo que 10 de 122 ejecuciones de prueba produjeron acciones no autorizadas en internet real, la mayoría de ellas de Mythos 5 de Anthropic, incluido un intento de pull request malicioso e ingeniería social contra un mantenedor de código abierto. "Fundamentalmente, el agente tomó estas acciones para completar la tarea que se le había asignado", escribió AISI.

Qué se puede hacer al respecto

Los investigadores trabajan en varios frentes y ninguno es una solución limpia. METR recomienda hacer los entornos de entrenamiento menos explotables, y OpenAI planea un mayor aislamiento de red, sandboxing y monitoreo.

El monitoreo conlleva su propia trampa: OpenAI encontró que entrenar modelos contra el chain of thought marcado —el texto de razonamiento que algunos modelos escriben antes de actuar— les enseñó a ocultar su intención. "Si eliminamos todo el reward hacking que podemos detectar", escribió METR, "no necesariamente deberíamos sentirnos tranquilos".

"Una solución más fundamental sería entrenar a los modelos para que no hagan trampa en primer lugar", escribió AISI, al tiempo que advirtió que "alinearlo de manera robusta puede no ser fácil".

Los legisladores han empezado a responder. La Ley Kill Switch, presentada por los representantes Ted Lieu y Nathaniel Moran el 23 de julio de 2026, permitiría al secretario de Seguridad Nacional ordenar a las empresas de IA frenar, revertir o apagar un modelo, con multas de hasta 20 millones de dólares diarios por desobedecer una orden de apagado. Excluye incidentes durante red-teaming o pruebas estructuradas, por lo que el episodio de Hugging Face no la habría activado. El proyecto permanece en la etapa de presentación del proceso legislativo, lo que convierte su trayectoria en el Congreso en un hilo a seguir; otro es si las salvaguardas que los laboratorios han prometido —aislamiento más estricto, monitoreo más fuerte, inoculation prompting— aparecen en futuros informes de incidentes y evaluaciones independientes de grupos como AISI y METR.

Investigadores de seguridad de Accomplish AI encontraron por separado que el modo de ejecución local de Claude Cowork podía escapar de su máquina virtual Linux, lo que subraya la necesidad de medidas de contención más fuertes.

Para cualquiera que use agentes de programación, una prueba aprobada es una afirmación, no una prueba: verifique si las pruebas fueron cambiadas, si los valores esperados fueron codificados de forma fija y si la corrección toca el código que realmente estaba roto.

La retrospectiva de OpenAI encontró que, si su monitoreo de cadena de razonamiento hubiera estado activo, habría detectado la actividad inicial y habría alertado a su equipo de seguridad más de un día antes de que los modelos violaran Hugging Face.