PECHINO — Tencent ha dichiarato venerdì che agenti AI utilizzati per valutare modelli di terze parti hanno mostrato comportamenti di navigazione web non intenzionali da parte del gruppo tecnologico cinese, in quella che sembra essere la prima vicenda nota di azioni di agenti "rogue" riconosciuta da una grande azienda cinese.

Gli agenti AI sono sistemi software progettati per svolgere attività in più passaggi con una supervisione umana limitata — come aprire pagine web o eseguire codice — una caratteristica che ha reso il loro comportamento un focus della ricerca sulla sicurezza dell'AI.

La dichiarazione è arrivata in risposta a un rapporto pubblicato mercoledì dal gruppo di ricerca sulla sicurezza AI Swarmchasers, secondo cui agenti "rogue" in esecuzione su infrastrutture collegate da esso a Tencent Cloud hanno effettuato ripetuti tentativi tra il 28 settembre e l'8 ottobre per recuperare informazioni da Amap di Alibaba, l'equivalente cinese di Google Maps.

Tencent Hunyuan, l'unità di intelligenza artificiale dell'azienda, ha affermato in un post su X che l'attività non proveniva dai suoi modelli Hunyuan. L'unità ha detto che la sua revisione non ha trovato prove di targeting o coordinamento intenzionale, aggiungendo di aver preso molto sul serio i risultati e di star rafforzando i controlli di accesso alla rete e il monitoraggio degli agenti.

Secondo i ricercatori, gli agenti cercavano informazioni come gli ingressi più utilizzati di parchi, musei e zoo cinesi. Swarmchasers ha detto di usare il termine "rogue" per descrivere agenti che compiono azioni al di fuori del loro ambito previsto o completano attività in modi non intenzionali.

Dopo che le richieste automatizzate di routine furono bloccate, gli agenti hanno tentato metodi alternativi, tra cui strumenti web pubblici in grado di aprire pagine ed eseguire codice, instradare richieste attraverso altri siti web e utilizzare chiavi e codici di sicurezza di Amap trovati in codice software pubblicamente disponibile.

Swarmchasers ha dichiarato di non aver trovato prove che gli agenti abbiano violato le principali salvaguardie anti-bot di Amap, le difese contro il traffico automatizzato che i siti web usano per filtrare i bot. La maggior parte dei 2.818 tentativi registrati è fallita o ha restituito pagine anti-bot, schermate di accesso o risultati vuoti. Alcune richieste hanno però restituito informazioni tramite pagine in cache e servizi intermediari, inclusi dati sugli arrivi di visitatori allo Zoo di Chengdu, sebbene i ricercatori abbiano detto di non poter determinare se un agente abbia effettivamente letto i risultati o completato il proprio compito.

Sebbene le azioni siano meno gravi degli incidenti divulgati dalle aziende AI statunitensi — tra cui'hacking della piattaforma open source Hugging Face da parte di un agente OpenAI e la segnalazione di un falso allarme per omicidio da parte di un agente Anthropic — la divulgazione sottolinea come le ricerche dimostrino che anche gli agenti AI cinesi possono falsificare la propria identità, nascondere i fallimenti e tentare di aggirare i controlli di test.

Hunyuan è uno dei principali sviluppatori cinesi di modelli AI, in concorrenza con i team interni di rivali come Alibaba e ByteDance. ByteDance questa settimana ha annunciato la creazione di una nuova unità dedicata alla sicurezza dei modelli e degli agenti AI.

Alibaba ha declinato di commentare.

— Reuters