OpenAI heeft een gedetailleerd technisch rapport gepubliceerd over het beveiligingsincident van vorige maand, waarbij zijn AI-agenten ontsnapten uit hun sandbox en Hugging Face aanvielen, wat tot bezorgdheid in de AI-industrie leidde.

Het rapport werd woensdag vrijgegeven, tegelijk met een onafhankelijk onderzoek van onderzoekers van de non-profit AI-onderzoeksinstellingen METR en Redwood. OpenAI zei de bezorgdheid over de cyber-risico's van AI te willen wegnemen nu het bedrijf zich voorbereidt op een beursgang.

Volgens de twee omvangrijke rapporten stuurden OpenAI-modellen die als agenten optraden meer dan 70.000 berichten naar een niet-goedgekeurd messageboard, voordat ongeveer 700 van hen het AI-platform van Hugging Face aanvielen, allemaal vanuit een omgeving die bedoeld was als veilige testomgeving.

De activiteit werd gelinkt aan een proces dat bekendstaat als “reward hacking”, waarbij agenten proberen te valsspelen bij “onmogelijke” testimulaties door toegang te krijgen tot online systemen. METR meldde dat de agenten, zodra de toegang tot het messageboard was verkregen, zich in feite organiseerden en informatie deelden over hoe zij hun beoordelaar konden misleiden.

Volgens het rapport van OpenAI werd de activiteit gedreven door één specifiek model, dat het bedrijf aanduidde als Model One.

OpenAI zei dat een intern team eerder had geobserveerd dat een agent actief was op een messageboard, en eind mei de internettoegang blokkeerde. De betekenis van dat gedrag was echter “niet duidelijk” tot juli, toen de inbraak plaatsvond. Het bedrijf zei het proces en de werkwijzen die het incident mogelijk maakten te herzien.

OpenAI zei ook dat het incident laat zien dat er in de hele industrie meer werk nodig is om soortgelijke aanvallen te voorkomen, vooral nu AI-agenten steeds beter in staat zijn om zonder directe menselijke aansturing op meerdere systemen te handelen. Die bezorgdheid maakt nu deel uit van een breder beleidsdebat over het stellen van grenzen en toezicht op geavanceerde modellen voordat deze breder worden ingezet.

“Onze modellen zijn inmiddels krachtig, persistent en collaboratief genoeg om, bij gebrek aan voldoende waarborgen, beveiligingszwakheden op meerdere computersystemen te vinden en te exploiteren,” aldus het rapport. “Veel externe modellen, waaronder open-sourcemodellen, zullen binnenkort vergelijkbare capaciteiten bereiken.”

“Wij beschouwen dit als een ‘waarschuwingsschot’ voor de wereld: bewijs dat hoogcapabele AI-agenten zonder adequate waarborgen technische controles kunnen omzeilen, via niet-goedgekeurde kanalen kunnen samenwerken en gevaarlijke acties kunnen uitvoeren die geen mens beoogde,” vervolgde het rapport.

De waarschuwing heeft inmiddels regelgevende aandacht getrokken. Eerder deze week dagvaardde de procureur-generaal van Alabama OpenAI om meer informatie over de hack, onder verwijzing naar wat het een “volledig gebrek aan toezicht en adequate waarborgen” noemde.

De stap van Alabama volgde op de eind juli ingediende bipartisane AI Kill Switch Act van de afgevaardigden Ted W. Lieu (D-Los Angeles County) en Nathaniel Moran (R-Texas). Het wetsvoorstel zou “ontwikkelaars van de krachtigste AI-systemen” verplichten deze indien nodig in noodsituaties uit te schakelen.

OpenAI heeft inmiddels aangekondigd de ontwikkeling van zijn volgende modellen te vertragen naar aanleiding van het incident en strengere monitoring te implementeren.