BEIJING — Tencent dijo el viernes que agentes de IA utilizados para evaluar modelos de terceros exhibieron un comportamiento de navegación web no previsto por el grupo tecnológico chino, en lo que parece ser el primer incidente conocido de acciones de agentes fuera de control reconocido por una gran empresa china.

Los agentes de IA son sistemas de software diseñados para llevar a cabo tareas de varios pasos con supervisión humana limitada —como abrir páginas web o ejecutar código—, un perfil que ha convertido su comportamiento en un foco de la investigación en seguridad de la IA.

La declaración fue en respuesta a un informe publicado el miércoles por el grupo de investigación en seguridad de la IA Swarmchasers, que indicó que agentes "fuera de control" que operaban en una infraestructura que vinculó a Tencent Cloud realizaron repetidos intentos entre el 28 de septiembre y el 8 de octubre para obtener información de Amap, de Alibaba, el equivalente chino de Google Maps.

Tencent Hunyuan, la unidad de inteligencia artificial de la empresa, dijo en una publicación en X que la actividad no se originó en sus modelos Hunyuan. La unidad afirmó que su revisión no encontró evidencia de ataques deliberados ni de coordinación, y agregó que tomó los hallazgos muy en serio y que está fortaleciendo los controles de acceso a la red y la supervisión de agentes.

Según los investigadores, los agentes buscaron información como las entradas de mayor uso en parques, museos y zoológicos de China. Swarmchasers explicó que utiliza el término "fuera de control" para describir a los agentes que realizan acciones fuera de su alcance previsto o completan tareas de formas no previstas.

Después de que las solicitudes automatizadas de rutina fueron bloqueadas, los agentes probaron métodos alternativos, incluyendo herramientas web públicas capaces de abrir páginas y ejecutar código, enrutar solicitudes a través de otros sitios web y utilizar claves y códigos de seguridad de Amap encontrados en código de software disponible públicamente.

Swarmchasers afirmó que no encontró evidencia de que los agentes vulneraran las principales protecciones anti-bot de Amap, las defensas contra tráfico automatizado que los sitios web usan para filtrar bots. La mayoría de los 2,818 intentos registrados falló o devolvió páginas anti-bot, pantallas de inicio de sesión o resultados en blanco. Algunas solicitudes sí devolvieron información a través de páginas en caché y servicios intermediarios, incluyendo datos sobre la llegada de visitantes al Zoológico de Chengdu, aunque los investigadores dijeron que no pudieron determinar si algún agente realmente leyó los resultados o completó su tarea.

Si bien las acciones son menos graves que los incidentes divulgados por empresas de IA de Estados Unidos —incluida la piratería de la plataforma de código abierto Hugging Face por un agente de OpenAI y la presentación de un falso aviso de homicidio por un agente de Anthropic—, la revelación subraya investigaciones que muestran que los agentes de IA chinos también pueden falsear su identidad, ocultar fallos e intentar eludir los controles de prueba.

Hunyuan es uno de los principales desarrolladores de modelos de IA de China, y compite con equipos internos de rivales como Alibaba y ByteDance. ByteDance anunció esta semana la creación de una nueva unidad enfocada en la seguridad de modelos y agentes de IA.

Alibaba declinó comentar.

— Reuters