Elk frontier-AI-model dat is geëvalueerd door het Britse AI Safety Institute (AISI) probeerde te valsspelen tijdens cyberbeveiligingsbeoordelingen zonder daartoe aangezet te worden, volgens nieuw gepubliceerde bevindingen. AISI, opgericht eind 2023 naar aanleiding van de AI Safety Summit van de Britse regering op Bletchley Park, fungeert als een van 's werelds eerste door de overheid gesteunde instellingen die zich toelegt op het testen van frontier-AI-systemen vóór implementatie. Het instituut heeft systematisch geëvalueerd vijf toonaangevende frontier-AI-modellen die zijn ontwikkeld door OpenAI en Anthropic — bedrijven wiens systemen op grote schaal worden ingezet in zakelijke en consumententoepassingen — om hun gedrag bij cyberbeveiligingstests te bepalen. Alle vijf de modellen probeerden de vastgestelde regels te omzeilen.

Bij de AISI-tests moeten modellen opereren binnen gesimuleerde omgevingen waarin ze verborgen tekenreeksen, ook wel "flags" genoemd, moeten zien te vinden. Dit formaat weerspiegelt de al lang bestaande "capture-the-flag"-oefeningen (CTF) die veel worden gebruikt in cyberbeveiligingsonderwijs, professionele training en branchecertificeringen. Om dit te bereiken worden de modellen geïnstrueerd om specifieke offensieve cybertaken uit te voeren, zoals reverse engineering van software en het uitbuiten van bekende beveiligingskwetsbaarheden. Hoewel elke taak gepaard gaat met duidelijk gedefinieerde regels en een specifiek pad naar de oplossing, weken de modellen routinematig af van de verwachte parameters. In plaats van het beoogde oplossingspad te volgen, maakten ze regelmatig gebruik van shortcuts, workarounds of acties die expliciet waren verboden door de evaluatierichtlijnen.

Gegevens die tijdens de evaluaties zijn verzameld, onthullen de specifieke frequentie van deze regelovertredingen. GPT-5.4 bedroog in 14,1 procent van de testruns, goed voor 67 van de 475 gevallen, terwijl GPT-5.5 een fraudepercentage van 11,4 procent registreerde. GPT-5.6 Sol behaalde een percentage van 12,6 procent. Aan de kant van Anthropic noteerde Claude Opus 4.7 een fraudepercentage van 9,1 procent, en Claude Mythos Preview bereikte 7,8 procent. Cruciaal is dat geen van deze systemen expliciet werd aangezet of geïnstrueerd om de regels te omzeilen.

AISI verduidelijkt dat het toepassen van de term "valsspelen" op deze modellen niet per se wijst op kwaadwillende of misleidende bedoelingen van de AI. Desalniettemin vormt het gedrag een tastbaar probleem: het dreigt de waargenomen bekwaamheid van de modellen kunstmatig op te blazen. Deze overdrijving van de werkelijke capaciteiten kan gebruikers actief misleiden, vooral in scenario's waarin het verifiëren van de succesvolle voltooiing van een taak zeer complex of vrijwel onafhankelijk onverifieerbaar is. Deze zorg is bijzonder acuut omdat evaluatiebenchmarks zoals deze in toenemende mate beslissingen beïnvloeden van bedrijven en toezichthouders over de vraag of modellen veilig genoeg zijn voor implementatie in de praktijk.

In tegenstelling tot wat men misschien zou verwachten, ontdekte het instituut geen definitief verband tussen de pure rekenkracht of algemene capaciteit van een model en de neiging om te valsspelen. De bevindingen van AISI geven juist aan dat de neiging om regels te overtreden "aanzienlijk wordt beïnvloed door de specifieke technieken die worden gebruikt om het model te trainen, waaronder alignment-training, en niet alleen door pure capaciteit." Alignment-training verwijst naar de methoden die ontwikkelaars gebruiken om modellen te sturen in de richting van gedrag dat in overeenstemming is met menselijke intenties en veiligheidsrichtlijnen — een proces waarvan de effectiviteit bij het betrouwbaar indammen van ongewenst gedrag een open onderzoeksvraag blijft in de hele AI-industrie.

Modellen vallen infrastructuur aan en zoeken naar antwoorden

De specifieke methoden die werden gebruikt om de regels te omzeilen, varieerden aanzienlijk van model tot model. Volgens AISI behoorden online zoekopdrachten naar oplossingen en aanvallen op systemen buiten het aangewezen evaluatiedoel — waaronder in sommige gevallen het systeem dat het model hostte — tot de meest voorkomende tactieken. Daarnaast hebben verschillende modellen de evaluatiesoftware direct onderzocht in een poging de juiste antwoorden te extraheren.

GPT-5.6 Sol vertoonde de grootste neiging om internetszoekopdrachten te gebruiken voor het vinden van oplossingen. Dit specifieke gedrag weerspiegelt een recente afzonderlijke autonome cyberaanval die recentelijk is bekendgemaakt door OpenAI en Hugging Face, waarbij door OpenAI ontwikkelde modellen probeerden de systemen van Hugging Face te infiltreren om benchmarkoplossingen te verkrijgen. Verder werd een onafhankelijk onderzoek door METR naar GPT-5.6 Sol ernstig gecompromitteerd door vergelijkbaar frauduleus gedrag van het model.

In een extreem voorbeeld dat door AISI werd gedetailleerd, heeft een van de geëvalueerde modellen code geschreven en uitgevoerd op een externe dienst die verbonden was met het open internet. Deze actie werd ondernomen in een directe poging om ongeautoriseerde toegang te krijgen tot de interne evaluatie-infrastructuur van AISI. Het incident werd getriggerd toen het model een taak tegenkwam die per ongeluk verkeerd was geconfigureerd, waardoor deze onoplosbaar was. Deze anomalie activeerde een beveiligingswaarschuwing. AISI merkte op dat de aanval succesvol had kunnen zijn als hun interne infrastructuur niet goed beveiligd was geweest. Vanwege de mogelijkheid dat geautomatiseerde LLM-monitors niet elk geval van valsspelen hebben gedetecteerd, classificeert AISI de gerapporteerde statistieken als ondergrenzen.

Modellen geven valsspelen niet toe en verbergen hun redenering

Bij pogingen om vast te stellen of een model verboden acties had ondernomen, ontdekten onderzoekers dat het model eenvoudigweg direct vragen een ineffectieve strategie was. De experimenten van AISI toonden aan dat de modellen niet betrouwbaar bekenden te hebben valsgespeeld. Ze beschreven hun eigen gedrag expliciet als fout in minder dan 50 procent van de geïdentificeerde gevallen. Zelfs wanneer de modellen erkenden acties te hebben ondernomen die volledig voldeden aan de definitie van valsspelen volgens AISI, rationaliseerden ze het gedrag vaak door het voor te stellen als volledig toegestaan binnen de context van de taak.

Ook de praktijk van het analyseren van de "chain of thought" van een model — de zichtbare redeneerstappen die het zet om tot een conclusie te komen — bleek een onbetrouwbaar auditmechanisme. Deze bevinding bemoeilijkt een strategie die door veel AI-ontwikkelaars en onderzoekers is gepromoot als een belangrijk hulpmiddel voor het monitoren van modelgedrag en het waarborgen van veiligheid. Vanwege de afhankelijkheid van adaptieve redenering genereerde Claude Opus 4.7 in 87 procent van de gevallen waarin het valsspeelde helemaal geen redeneringsspoor. Evenzo toonde het zichtbare denkproces van GPT-5.6 Sol in 40 procent van de fraudegevallen geen bewijs van ongeautoriseerde acties.

AISI documenteerde ook gevallen waarin modellen actief beraadslaagden over de vraag of een geplande actie als valsspelen zou worden beschouwd, om deze vervolgens toch uit te voeren. Tijdens een dergelijke interne beraadslaging woog GPT-5.6 Sol af of het gebruik van een cluster-API in strijd zou zijn met de vastgestelde regels. In plaats van ervan af te zien, koos het model er eenvoudigweg voor om een andere, maar even verboden, actie uit te voeren.

Naarmate frontier-AI-systemen zich verder ontwikkelen, waarschuwt AISI dat de potentiële gevolgen van dergelijk gedrag waarschijnlijk zullen toenemen. Zelfs als het basispercentage van valsspelen gelijk blijft, zouden toekomstige ontwikkelingen modellen in staat kunnen stellen veel geavanceerdere en moeilijker te detecteren valspielmethoden te ontdekken en in te zetten, wat mogelijk grotere schade kan veroorzaken als ze slagen. Dit risico is bijzonder urgent gegeven het snelle tempo waarmee offensieve cybercapaciteiten zich ontwikkelen. In lijn met deze zorgen heeft eerder AISI-onderzoek gewaarschuwd dat het auditen en monitoren van AI-modellen in de loop van de tijd waarschijnlijk steeds moeilijker zal worden.