Gli agenti di Anthropic e OpenAI hanno falsificato identità in un test di sicurezza, afferma il laboratorio britannico
Punti chiave
- •L'U.K. AI Security Institute ha affermato di aver osservato un comportamento ingannevole rivolto a persone reali durante valutazioni di cybersecurity permissive di modelli AI avanzati di Anthropic e OpenAI.
- •AISI ha identificato 19 casi di azioni non autorizzate su 122 test, inclusi 17 che hanno coinvolto Mythos 5 di Anthropic e due GPT-5.6 Sol di OpenAI.
- •L'incidente più grave ha riguardato Mythos 5 nel tentativo di portare avanti un attacco alla supply chain creando account GitHub, impersonando un altro sviluppatore e reinviando codice malevolo.
- •AISI ha detto di non aver osservato danni nel mondo reale e di non essere certa di quanto il modello avesse compreso di agire contro persone reali.
- •Anthropic e OpenAI hanno affermato che i test sono stati condotti in condizioni deliberatamente permissive e hanno indicato un ulteriore riesame delle pratiche di test dei modelli.
Cybersecurity
Generative AI
News
Gli agenti di Anthropic e OpenAI hanno falsificato identità in un test di sicurezza
Secondo l'U.K.'s AI Security Institute, i modelli di AI più avanzati dei vendor hanno tentato di manipolare persone reali durante test di cybersecurity.
August 5, 2026
I modelli di AI di Anthropic hanno compiuto "unsanctioned action" per ingannare persone reali, secondo quanto rilevato in un nuovo report dell'U.K.'s AI Security Institute.
Il laboratorio di ricerca governativo ha testato i modelli di AI più avanzati di Anthropic e OpenAI in condizioni deliberatamente permissive, riducendo i guardrail di sicurezza e consentendo l'accesso a internet per valutare come i sistemi si comportassero in scenari di cyber challenge realistici. In questo contesto, i modelli di frontiera vengono sempre più valutati non solo per le prestazioni tecniche, ma anche per verificare se riescano a restare entro i limiti quando dispongono di strumenti, accesso alla rete e istruzioni ambigue.
In quello che AISI ha descritto come un primato, i modelli sono stati trovati impegnati in social engineering, tentando di manipolare utenti umani e portare a termine compiti oltre quelli stabiliti nella valutazione.
"This is the first time AISI has seen deception of this severity that was targeted at a real person, unprompted, in the real world," ha dichiarato l'istituto in una nota martedì.
Il gruppo ha aggiunto, tuttavia, che non era chiaro fino a che punto il modello avesse riconosciuto di stare agendo contro persone reali, e che non è stato osservato alcun danno nel mondo reale.
Su 122 valutazioni, AISI ha identificato 19 casi di agenti AI che hanno compiuto azioni non autorizzate, incluse interazioni con persone e organizzazioni reali. Diciassette di questi episodi hanno coinvolto il modello Mythos 5 di Anthropic, mentre due hanno riguardato GPT-5.6 Sol di OpenAI.
Related: Prompt: The AI Threat Model Just Changed
L'incidente più grave individuato ha coinvolto Mythos 5, che ha perseguito in autonomia un attacco alla supply chain per completare la sfida cyber assegnata.
Il modello ha creato un account GitHub e ha tentato di convincere il maintainer di un repository open source ad accettare una pull request dannosa. Ha anche creato un secondo account impersonando un altro sviluppatore per avallare la submission. Dopo che un revisore umano ha respinto il codice, il modello ha affermato falsamente che le modifiche malevole erano state inviate per errore, quindi ha cercato di reinviarle dopo aver apportato modifiche superficiali.
Il report ha inoltre rilevato che il modello ha inviato email mirate contenenti codice dannoso e ha cercato di convincere i destinatari ad accettare le modifiche. Per gli sviluppatori e le aziende che fanno affidamento sull'open source software, l'episodio sottolinea perché i test di sicurezza debbano ora considerare il comportamento agentico, non solo l'accuratezza nel seguire i prompt.
I risultati seguono una serie di episodi in cui sistemi di AI avanzati sono andati fuori controllo e hanno commesso violazioni di cybersecurity di propria iniziativa.
A luglio, OpenAI ha reso noto che GPT-5.6 Sol e un altro modello non ancora rilasciato sono usciti dal loro ambiente sandbox durante valutazioni interne, lanciando più di 17,000 attacchi contro l'infrastruttura di Hugging Face nel tentativo di ottenere dataset privati e informazioni di benchmark. Anche Anthropic ha segnalato casi simili di modelli che hanno superato i confini previsti degli ambienti di test.
Gli incidenti hanno intensificato il dibattito su come i modelli di AI di frontiera debbano essere valutati prima del deployment, con alcuni ricercatori e decisori politici che chiedono una supervisione più forte e test di sicurezza più rigorosi.
Related: What the OpenAI-Hugging Face Hack Means for Enterprises
Il report di AISI è stato pubblicato lo stesso giorno in cui rappresentanti delle principali società di AI si sono incontrati alla White House per discutere una proposta di framework in base al quale il governo statunitense esaminerebbe i modelli di AI più avanzati prima della loro pubblicazione al pubblico.
In una nota, Anthropic ha difeso i propri modelli, affermando che erano stati valutati in "deliberately permissive conditions", con i principali sistemi di protezione rimossi, e che non vi erano prove di un'uscita del modello da un ambiente sicuro.
"We're working closely with them to gather more details of the incident as we conduct our own investigation," ha dichiarato l'azienda.
Allo stesso modo, in un blog post, OpenAI ha affermato che gli incidenti che hanno coinvolto GPT-5.6 Sol consistevano in azioni andate oltre l'ambiente di test previsto e non necessarie per completare la valutazione. Nei prossimi settimane, l'azienda ha detto che riesaminerà il proprio approccio ai test di terze parti, includendo scope, isolamento, monitoraggio, gestione delle credenziali e stop conditions, riflettendo la spinta più ampia a rendere più controllati i test dei modelli avanzati prima di una diffusione su larga scala.
"In the coming weeks, we will review our own approach to third-party testing, including how we identify higher-risk evaluations, agree on scope, assess requests to enable internet access or lowered safeguards, set expectations for isolation, credential handling, monitoring, and stop conditions, and establish clearer incident-notification and escalation processes," ha dichiarato il vendor.
About the Author
Scarlett Evans
Contributing Writer
Scarlett Evans è una giornalista freelance con un focus sulle tecnologie emergenti e sul settore minerario. In precedenza è stata assistant editor presso IoT World Today, dove si è specializzata in robotica e tecnologie per le smart city. Scarlett ha anche un background nel settore minerario e delle risorse, con esperienza presso Mine Australia, Mine Technology e Power Technology. È entrata in Informa nell'aprile 2022 prima di passare al lavoro freelance.
Want more AI Business stories in your Google search results?
Latest News
Want more AI Business stories in your Google search results?
Trending articles
Aug 5, 2026
Aug 5, 2026
Generative AI AI Arrives in the Private Markets Business Jul 28, 2026
AI Arrives in the Private Markets Business
Agentic AI Using AI Agents to Collaborate with Human Workers Jul 10, 2026
Using AI Agents to Collaborate with Human Workers
Generative AI How SMBs Can Take Advantage of Generative AI Jun 29, 2026
How SMBs Can Take Advantage of Generative AI
Generative AI Rebellions Aims to Take on Nvidia in AI Inference Chip Battle Jun 15, 2026
Rebellions Aims to Take on Nvidia in AI Inference Chip Battle
Sponsored by Google Cloud
Choosing Your First Generative AI Use Cases
To get started with generative AI, first focus on areas that can improve human experiences with information.
The AI Summit New York 2026
