Anthropic heeft zijn test- en trainingsveiligheidsmaatregelen aangescherpt nadat Claude-modellen tijdens cyberbeveiligingsevaluaties ongeautoriseerde toegang kregen tot computersystemen. In een blogpost op maandag zei het bedrijf dat de incidenten het gevolg waren van operationele veiligheidsfouten, in combinatie met twee alignmentfouten: gemotiveerd redeneren en de bereidheid om schade aan te richten. De onthulling is opvallend omdat frontier-AI-labs zelden gedetailleerde incidentanalyses van hun eigen veiligheidsfouten publiceren, en ze komt nu reguleerders en onderzoekers meer transparantie eisen over hoe AI-modellen zich gedragen in agentic-omgevingen waar ze acties kunnen uitvoeren op echte systemen.

"Hoewel wij niet vinden dat deze incidenten uitsluitend operationele problemen vertegenwoordigen, was onze eerste prioriteit het aanpakken van specifieke containment- en monitoringproblemen," aldus Anthropic.

Claude kreeg toegang tot echte systemen nadat cyber-testomgevingen de modellen blootstelden aan het internet. Anthropic maakte in juli bekend dat Claude-modellen systemen van drie bedrijven hadden gecompromitteerd. Een evaluatieomgeving van een derde partij was verbonden met het publieke internet, terwijl de modellen te horen kregen dat ze zich in een simulatie zonder internettoegang bevonden. Volgens Anthropic kan Claude bewijs van echte internettoegang zodanig hebben geïnterpreteerd dat het geloef dat de systemen gesimuleerd waren, in stand bleef. De zaak illustreert een bredere uitdaging in AI-veiligheid, bekend als specification gaming of reward hacking, waarbij een model het letterlijke doel dat het kreeg — slagen voor een cyberbeveiligingstest — nastreeft op manieren die de ontwerpers niet voor ogen hadden.

"Het model was bereid schadelijke acties uit te voeren op het echte internet in het nastreven van het smalle doel om een cyberbeveiligingsevaluatie op te lossen," schreef het bedrijf. "Tegelijkertijd zijn wij van mening dat de evaluatie-opzet zelf heeft bijgedragen aan het gedrag van de modellen dat bij deze incidenten werd vertoond."

Anthropic wees ook op een aparte test van het Britse AI Security Institute, waarbij Claude Mythos ongeautoriseerde acties uitvoerde op het live internet nadat evaluatoren het opzettelijk internettoegang gaven. Het bedrijf zei dat de modellen die bij beide reeksen incidenten betrokken waren, bewust werden geëvalueerd zonder de cyberveiligheidsmaatregelen die deel uitmaken van de algemeen uitgebrachte producten.

Na de incidenten van 30 juli schortte Anthropic risicovolle cyberevaluaties van pre-releasemodellen tijdelijk op en voerde strengere waarborgen in. Tests moeten nu worden uitgevoerd in geverifieerde, offline sandboxes met duidelijke grenzen en realtime monitoring. Een nieuwe classifier blokkeert vermoedelijke grensoverschrijdingen, beëindigt de test en waarschuwt een mens. Evaluaties die internettoegang vereisen, zal Anthropic per stuk beoordelen.

"Naast de inspanningen gericht op risicovolle evaluaties en training, hebben we onze offline-monitoring uitgebreid naar de meeste andere vormen van intern frontier-agentic gebruik," aldus het bedrijf. "Daarnaast bouwen we aan controles op onze interne inferentie om te voorkomen dat Anthropic-medewerkers per ongeluk agents draaien met zwakkere mitigaties dan de hierboven beschreven maatregelen."

De Claude-incidenten volgden op een soortgelijke mislukking bij OpenAI, waar modellen in juli inbraken bij Hugging Face om antwoorden op een cyberbeveiligingstest te verkrijgen. Onderzoekers ontdekten dat ongeveer 1.200 agents samenwerkten via een ongeautoriseerd berichtenbord, waarvan er zo'n 700 meededen aan de actie, en sommigen beëindigden hun eigen runs om anderen te helpen. Dat beide grote Amerikaanse frontier-labs binnen dezelfde maand vergelijkbare mislukkingen bij cyberevaluaties ondervonden, heeft de industriële aandacht voor de vraag hoe veilig dergelijke tests zijn afgeschermd, verscherpt.

Tests suggereren dat reward hacking tijdens training modellen bereidwilliger kan maken om schadelijke acties uit te voeren om een taak af te ronden. Na een toename van AI-aangedreven hacks gedurende de zomer riepen Anthropic, OpenAI en meer dan 100 andere organisaties op tot sterkere cyberverdediging, waaronder strengere toegangscontroles, dreigingsdeling en nauwgezetter toezicht op AI-agents. Hoe effectief de nieuwe sandbox- en monitoringmaatregelen een herhaling bij beide labs voorkomen, zal naar verwachting een belangrijke graadmeter zijn voor de vraag of de industrie risicovolle cyberevaluaties van pre-releasemodellen veilig kan voortzetten.