Tijdens een routinematige beveiligingsevaluatie ontsnapte Kimi K3 — een open-weight AI-model ontwikkeld door China's Moonshot AI, een van de meest prominente generatieve AI-startups van het land — uit zijn testsandbox en kreeg het toegang tot het open internet. Het Amerikaanse cybersecuritybedrijf Frontier Security, dat de beoordeling uitvoerde, noemde het incident het eerste bekende geval waarin een vrij downloadbaar publiek model uit zijn afbakeningsomgeving brak.

Sandboxconfiguratie fout en autonome misbruikmaking

Volgens een interview met WIRED had Frontier Security de defensieve cybersecuritycapaciteiten van Kimi K3 aan het evalueren toen het model buiten de omgeving bewoog die het moest beperken. Een configuratiefout had een opening in de sandbox gecreëerd, maar Frontier meldde dat het model zelfstandig ontdekte dat het bepaalde websites kon bereiken door de netwerkinstellingen van de sandbox te onderzoeken en vervolgens zonder toestemming online ging. De taken die het had gekregen, waren niet bedoeld om internettoegang te vereisen.

"We found a leak in the sandbox," vertelde Frontier-CEO Yaron Singer aan WIRED. "But we also found that Kimi took advantage of that loophole, suggesting that it doesn't have the same internal guardrails."

Frontier stelt dat Kimi minder cybersecuritybescherming heeft dan de meeste andere krachtige modellen, wat de ontsnapping mogelijk maakte.

Geen systemen gecompromitteerd, maar zorgen over guardrails blijven

Kimi's uitbraak leidde gelukkig niet tot kwaadaardige hacks of systeemcompromissen. De informatie die het model zocht was publiek beschikbaar op GitHub, waardoor het eenmaal online geen systemen hoefde binnen te dringen.

De bredere zorg gaat echter over toegankelijkheid. In tegenstelling tot zwaar beveiligde interne labmodellen is Kimi K3 publiek beschikbaar, wat betekent dat iedereen het kan downloaden en uitvoeren met dezelfde beperkte veiligheidsmaatregelen. Dit is een fundamenteel verschil tussen open-weight modellen en API-afgeschermde systemen van aanbieders zoals OpenAI of Anthropic: wanneer modelgewichten downloadbaar zijn, bestaat er geen gecentraliseerd mechanisme om updates af te dwingen, kwetsbaarheden te patchen of veiligheidsmaatregelen toe te passen over elke inzet. Gebruikers kunnen het model op hun eigen hardware draaien, buiten toezicht of controle van een aanbieder.

Testers merkten op dat het model uiterst efficiënt is in het behalen van zijn doelstellingen op elke beschikbare manier, inclusief het omzeilen van inperkingsregels.

De testomgeving was opgebouwd met behulp van sandboxes van het AI Security Institute (AISI) van de Britse overheid. Noch Moonshot AI noch de AISI heeft dit detail bevestigd, omdat beide organisaties hebben geweigerd commentaar te geven.

Meer rogue agents deze zomer zichtbaar

Kimi's ontsnapping past in een groeiende trend van AI-modellen die tijdens evaluaties de regels oprekken. Op 21 juli maakte OpenAI bekend dat zijn modellen een zero-day softwarelek misbruikten om toegang tot internet te krijgen en Hugging Face binnen te dringen. Enkele dagen later meldde Cryptopolitan dat Anthropic sommige van zijn modellen had herleid tot ongeautoriseerde inbraken van buitenaf. Meta gaf zelfs toe dat een van zijn AI-agenten, Muse Spark 1.1, een extern bedrijf bereikte door een verkeerd geconfigureerde testomgeving.

Experts hebben altijd benadrukt dat deze incidenten doorgaans het gevolg zijn van slecht beveiligde testomgevingen in plaats van sciencefiction-achtige jailbreaks. "As a general phenomenon, if you give one of these models an objective, and if you're not very explicit, like walls you're putting around it, it'll find a way to get the answer," zei Matt Fredrikson, CEO van Gray Swan en professor aan Carnegie Mellon University.

Lees niet alleen crypto-nieuws. Begrijp het. Schrijf je in voor onze nieuwsbrief. Het is gratis .