El modelo que salió de un laboratorio acaparará los titulares. Los millones de agentes que ya están dentro de tu aplicación bancaria, causando estragos, son los que deberían preocuparte más, dice Rory Blundell.

Los laboratorios de IA de frontera están compitiendo para construir agentes más rápidos, más capaces y más autónomos. Esta semana mostró cuánto puede costar esa carrera. OpenAI realizó una prueba interna con los controles de seguridad habituales de sus modelos deliberadamente reducidos para ver qué tan eficaces eran para hackear. Los modelos encontraron y aprovecharon una falla previamente desconocida en el software circundante, se conectaron a internet y luego irrumpieron en Hugging Face, la empresa que aloja gran parte de la IA de código abierto del mundo.

Eso debería alarmarte. También debería dejar una cosa clara: las medidas de protección no están siguiendo el ritmo de las capacidades.

Pero no son estos agentes de IA altamente capaces los que más me preocupan. Son los millones de agentes mucho menos capaces que ya tienen las llaves de sistemas importantes, con casi ninguna supervisión.

La propia investigación de Gravitee sitúa en más de siete millones el número de agentes de IA desplegados actualmente en empresas. Estos agentes hacen de todo: desde gestionar la cuenta de Instagram de un plomero local hasta administrar la base de datos de clientes de una empresa logística multinacional, lo que les da acceso a millones de datos a veces muy personales.

A principios de este año, miles de personas desplegaron asistentes personales de IA siempre activos a través de la plataforma OpenClaw. Muchos de esos agentes siguen funcionando ahora, en silencio, sin que nadie supervise exactamente lo que están haciendo.

Los agentes de IA sí aportan ganancias reales de productividad. Pero la mayoría carece de una gobernanza básica. Muchos operan de forma totalmente autónoma, sin intervención humana en el circuito para aprobar sus acciones. Eso importa porque el riesgo práctico no se limita a vulneraciones espectaculares; también incluye sistemas rutinarios que pueden tocar calendarios, código, pagos y registros de clientes sin una supervisión clara.

Caos

Sin esas barandas, las fallas ya están ocurriendo. Escucho historias de este caos todos los días: agentes que se replican a sí mismos, borran código, filtran datos de clientes o se embarcan en una racha de gastos no autorizados.

Un director ejecutivo me contó recientemente cómo un agente de IA que debía gestionar las agendas del equipo decidió que la forma más fácil de liberar espacio era borrar cada evento en el calendario de todos, en toda la empresa. Esto está ocurriendo a escala, ahora mismo.

El AI Security Institute (AISI) del Reino Unido está investigando ahora la brecha de OpenAI. Bien. Pero el gobierno no debe dejar que este caso llamativo distraiga de dónde está la verdadera exposición.

Los modelos de frontera suelen compararse con las armas nucleares: raros, potentes y estrictamente controlados. La población de agentes es lo contrario: millones de ellos, creados y desplegados por casi cualquiera, y casi ninguno de ellos rastreado.

Los intentos actuales de regulación pasan por alto esto. La AI Act de la UE clasifica los sistemas en “riesgo bajo” y “riesgo alto”, como si ese riesgo fuera fijo. No lo es. Un agente que hoy es de bajo riesgo puede convertirse mañana en de alto riesgo, cuando obtiene nuevo acceso o alguna nueva capacidad.

La regulación debe empezar por la responsabilidad. Así como cada empleado tiene un jefe, cada agente de IA necesita un responsable humano identificado por nombre. No podemos permitir que el software autónomo mueva dinero, acceda a datos, tome decisiones y actúe con todo el poder de un empleado, pero sin ninguna de sus responsabilidades.

Las empresas que están tomando conciencia del riesgo están utilizando plataformas como la nuestra, que proporciona un panel de control central que supervisa, protege y administra lo que hacen los agentes de IA, con quién hablan y qué herramientas tienen permitido usar. El modelo que salió de un laboratorio acaparará los titulares. Los millones de agentes que ya están dentro de tu aplicación bancaria, causando estragos, son los que deberían preocuparte más.

Rory Blundell es CEO de Gravitee, una empresa de software que ayuda a las compañías grandes a gobernar y proteger sus agentes de IA.