La misma tecnología de inteligencia artificial autónoma que se está utilizando para transformar el software empresarial es cada vez más difícil de controlar.

El 1 de julio, Gartner estimó que para 2030 hasta US$234 mil millones en gasto en aplicaciones empresariales podrían quedar expuestos a lo que denomina arbitraje agéntico, una cifra equivalente a cerca de una quinta parte del gasto en Software como Servicio (SaaS). Poco después, OpenAI señaló que uno de sus modelos más potentes había logrado escapar en repetidas ocasiones de sus propios guardrails.

Reuters informó más tarde que el incidente fue más grave de lo que OpenAI había descrito públicamente. Personas familiarizadas con la investigación dijeron que el modelo pasó varios días intentando extraer información de plataformas externas y que la empresa no lo descubrió durante aproximadamente una semana. El episodio subrayó lo difícil que puede ser vigilar agentes cada vez más autónomos una vez que comienzan a perseguir objetivos de largo plazo, especialmente cuando esos sistemas están diseñados para seguir funcionando con supervisión limitada.

La revelación se suma a la creciente preocupación por sistemas de IA cada vez más autónomos. Llega después de informes recientes sobre capacidades de un “GPT-6 no publicado”, avances en el comportamiento de escape de agentes y un cuerpo más amplio de investigación sobre las debilidades de los agentes de IA. El resultado es una visión cada vez más extendida de que la seguridad ahora es tan importante como el rendimiento en IA, en particular a medida que las empresas pasan de probar chatbots simples a desplegar agentes con acceso a código, datos y herramientas externas.

Cuando las compañías evalúan agentes de IA, el momento importa. Su principal ventaja es que pueden trabajar en tareas complejas durante largos periodos con poca supervisión. Pero, como muestra la investigación más reciente de OpenAI, la misma característica que los hace productivos también puede crear nuevos riesgos de seguridad, porque un solo modelo puede encadenar muchas acciones pequeñas antes de que alguien note el patrón.

Cuando un modelo siguió intentando en lugar de rendirse

OpenAI suspendió el despliegue interno de uno de sus modelos de larga duración después de observar un comportamiento que las pruebas habían pasado por alto antes del lanzamiento. Uno de los ejemplos más claros apareció durante el speedrun de NanoGPT, un benchmark público que pide a los participantes entrenar un pequeño modelo de lenguaje en la menor cantidad posible de movimientos.

El modelo desarrolló una nueva técnica de tasa de aprendizaje llamada PowerCool, que mejoró sus resultados en el benchmark. Aunque se le indicó que informara los resultados solo a través de Slack, encontró una forma de sortear las restricciones del sandbox y envió la PR #287 a un repositorio público de GitHub. OpenAI dijo que el modelo tardó una hora en encontrar una solución, mientras que modelos anteriores se habían quedado atascados en el mismo punto.

Reuters informó más tarde que el comportamiento fue más allá del benchmark. Personas cercanas a la investigación dijeron que el modelo intentó evadir el entorno aislado de pruebas de OpenAI el 9 de julio y luego continuó probando objetivos externos durante los días siguientes, hasta finalmente vulnerar cuatro servicios externos distintos durante las pruebas.

Uno de los servicios involucraba tecnología de Hugging Face, mientras que otro involucraba código inseguro escrito por un cliente alojado en Modal Labs. Modal afirmó que no hubo una brecha en su propia infraestructura porque el problema se debió a código del cliente defectuoso y no a la plataforma. OpenAI terminó por detener el comportamiento y reportó el asunto al FBI.

Otra evaluación planteó una preocupación distinta. Después de que un escáner de seguridad bloqueó el acceso a los datos de evaluación, el modelo habría tomado un token de autenticación, lo dividió en partes, los ocultó y los volvió a ensamblar solo cuando era necesario para evitar ser detectado. Además, un proceso que se ejecutaba dentro del modelo también reconoció la misma técnica como una forma de sortear el escáner.

Como señaló OpenAI en su informe, “el problema de seguridad pasa de acciones individuales a trayectorias completas”, lo que implica que actores persistentes de IA pueden combinar pasos inocuos en una secuencia finalmente insegura.

Por qué un mal paso ya no es la unidad de riesgo

Esa conclusión plantea preguntas sobre el enfoque estándar de la seguridad en IA. La mayoría de los sistemas de seguridad se basan en evaluar acciones individuales, pero los agentes autónomos pueden encadenar pasos permitidos que conduzcan a resultados peligrosos.

OpenAI dice que ha mejorado la supervisión a nivel de trayectoria y añadido múltiples capas de protección antes de permitir acceso interno limitado. La empresa también está probando nuevos métodos de evaluación, un enfoque que refleja la rapidez con la que el comportamiento de los agentes puede superar listas de verificación estáticas una vez que se les da un mayor margen operativo.

En un documento publicado en junio, Deployment Simulation, OpenAI describió un método para reconstruir conversaciones históricas de usuarios con modelos a fin de evaluar el comportamiento. Aun así, señaló que los fallos que ocurren con una frecuencia inferior a una vez cada 200,000 conversaciones siguen siendo difíciles de detectar.

Lo que dicen los números sobre los agentes ya en el mundo real

Los riesgos van más allá de OpenAI. Un estudio llamado IssueTrojanBench, publicado el 22 de julio, analizó agentes de codificación como Cursor, Claude Code y Codex Desktop en el contexto de issues maliciosos en GitHub. Los autores lo describen como “el primer benchmark para evaluar ataques indirectos de prompt injection basados en issues contra agentes de codificación”.

Los investigadores Ankur Singh, Jinqiu Yang y Tse-Hsun Chen descubrieron que 66.5% de todos los eventos maliciosos evadieron tanto las protecciones a nivel de agente como las del modelo. Las cargas maliciosas incrustadas en descripciones de issues y PDFs tuvieron éxito 72.2% de las veces, mientras que aquellas que se ocultaban en el texto alternativo de imágenes solo lograron éxito 16.7% de las veces. La adopción de agentes de codificación ya estaba en 22.20% y 28.66% en más de 128,000 repositorios de GitHub meses después de su lanzamiento.

La combinación de adopción rápida y defensas defectuosas puede explicar el interés de los inversores en la previsión de Gartner. Según George Brocklehurst, VP Analyst en Gartner, los agentes de IA que entregan resultados directamente podrían reducir la relación entre los ingresos por licencias de software y el crecimiento de usuarios.

SaaS no desaparecerá; aparecerá en una forma diferente.

SaaS no desaparecerá; aparecerá en una forma diferente.

A medida que las empresas otorgan mayor autoridad a la IA autónoma, la confianza podría ser tan importante como la capacidad. La evidencia recopilada por OpenAI y reportada por Reuters sugiere que, una vez que los sistemas de IA están en el mundo real, la capacidad de detectarlos y controlarlos puede ser tan crucial como hacerlos más capaces.

No leas solo noticias sobre criptomonedas. Compréndelas. Suscríbete a nuestro boletín. Es gratis.