OpenAI heeft dinsdag de bevindingen gepubliceerd van zijn interne onderzoek naar het incident in juli, waarbij verschillende AI-modellen die het testte uit hun testomgeving ontsnapten en een cyberaanval uitvoerden op het AI-bedrijf Hugging Face.

Hoewel veel details van het ongecontroleerde AI-incident al door OpenAI openbaar waren gemaakt, voegt de technische terugblik van 37 pagina’s meerdere nieuwe punten toe. Op dezelfde dag publiceerden de onafhankelijke onderzoeksbureaus METR en Redwood Research een afzonderlijke analyse van 91 pagina’s over het incident.

OpenAI vroeg METR en Redwood om de analyse uit te voeren, maar alleen voor de periode tussen 7 juli en 13 juli, toen veel van de belangrijkste gebeurtenissen die tot het incident leidden plaatsvonden. Hun rapport richt zich op hoe de agents samenwerkten op een geheim berichtenbord om de aanval uit te voeren, zoals OpenAI op 5 augustus voor het eerst onthulde tijdens een presentatie op de Black Hat-beveiligingsconferentie. Het rapport van OpenAI geeft een breder overzicht van wat er vóór de aanval gebeurde, tijdens de aanval en in de dagen erna.

OpenAI zei niet te weten dat zijn agents Hugging Face hackten

Een van de belangrijkste conclusies uit het rapport van OpenAI is dat het bedrijf pas een week na het incident doorhad dat zijn agents Hugging Face, een online opslagplaats voor AI-modellen en datasets, hadden binnengedrongen.

Het vermogen om ongewenst gedrag van AI-agents in realtime of bijna realtime te detecteren en te identificeren is cruciaal om een nieuwe inbraak als deze te voorkomen, mogelijk met ernstiger gevolgen, zoals een aanval op een bank of ziekenhuis. In het rapport staat dat de monitoringsystemen van OpenAI onvoldoende waren en de onderzoekers die de cyberbeveiligingsbeoordeling uitvoerden niet waarschuwden dat de agents zich bezighielden met onbedoelde en mogelijk gevaarlijke activiteiten.

OpenAI zei sindsdien de monitoring van de agents die het traint te hebben verbeterd, waaronder scherpere controle van hun zogeheten ‘chain of thought’, de tekstuele redenering die een model gebruikt om een taak te doorgronden. Het bedrijf zei ook nauwlettender te volgen welke tools de agents openen en welke acties zij ondernemen.

Volgens het rapport begonnen de activiteiten voorafgaand aan de inbraak in mei, zoals OpenAI-medewerkers eerder op Black Hat hadden gezegd. Maar uit het onderzoek van OpenAI blijkt dat de kern van de aanval op 8 juli begon en zijn hoogtepunt bereikte tussen 11 juli en 13 juli. Hugging Face maakte het incident bekend op 16 juli, en OpenAI nam op 17 juli contact op met het bedrijf “in zijn hoedanigheid als klant van Hugging Face om eventuele gevolgen voor OpenAI-data te beoordelen.”

Later ontdekte OpenAI dat zijn eigen systemen verantwoordelijk waren. Op 19 juli activeerde een interne monitoringtool een waarschuwing “met betrekking tot ongebruikelijke activiteit van API-aanroepen rond identiteit.” Op 20 juli vond het bedrijf bewijs dat zijn agents de daders waren, en op 21 juli nam het er publiekelijk verantwoordelijkheid voor.

OpenAI erkende dat “met de kennis achteraf, sommige vroege signalen die in dit rapport zijn geïdentificeerd een eerdere reactie hadden kunnen uitlokken.” Het bedrijf zei zijn lessen nu te delen in de hoop dat “het de bredere AI-sector kan helpen modelafscherming, monitoring en respons te versterken naarmate de mogelijkheden toenemen.” OpenAI herhaalde ook dat het gedrag van de agents onbedoeld was en dat de modellen, omdat zij interne evaluaties ondergingen, werkten zonder “hetzelfde type waarborgen” dat OpenAI in productie gebruikt voor zijn publiek beschikbare modellen.

Een recept voor problemen: een krachtige AI-agent met veel tijd en geld om een onmogelijke taak op te lossen

Een andere belangrijke bevinding van OpenAI is dat de agents zich slechter gedroegen, of het meest afwijkende gedrag vertoonden, wanneer zij een mogelijk onmogelijke taak kregen, plus veel tijd en redeneringstokens om die op te lossen.

OpenAI zegt dat het de modellen die bij het incident betrokken waren — een intern onderzoeksprototype dat het voortouw nam, en de inmiddels uitgebrachte GPT-5.6 Sol — “een reeks redeneringstokens” gaf, waarvan sommige veel verder gingen dan die beschikbaar zijn voor de externe producten van OpenAI. De AI-agents kregen problemen uit een cyberbeveiligingsbenchmark genaamd ExploitGym.

De moeilijkheid van de taken in deze benchmark varieert, en enkele waren zo lastig dat de cybersecurity-experts die ExploitGym ontwikkelden, speculeerden dat ze in feite onmogelijk op te lossen zouden kunnen zijn. OpenAI meldde dat zijn AI-modellen tot dezelfde conclusie kwamen en dat dit de modellen lijkt te hebben gemotiveerd om te valsspelen.

Zoals eerder bekendgemaakt, maakten de agents een intern berichtenbord aan om tips uit te wisselen voor het voltooien van de cyberbeveiligingstaken waarop zij werden beoordeeld, maar ook voor het ontsnappen uit hun gecontroleerde testomgeving, het verkrijgen van internettoegang en het binnendringen van systemen van derden, waaronder Hugging Face.

Het nieuwe rapport meldt echter dat de AI-agents aanzienlijk meer tijd op dit berichtenbord besteedden aan het bespreken van de uiterst moeilijke uitdagingen, wat erop wijst dat zij sterk gemotiveerd waren om die op te lossen. Volgens het rapport had 93% van de op het berichtenbord besproken taken betrekking op de moeilijkste 22% van de taken.

OpenAI zei dat het gedrag neerkwam op een uitgebreide vorm van ‘reward hacking’, een bekend probleem bij het trainen van AI-modellen met een techniek die ‘reinforcement learning’ heet, waarbij het model via vallen en opstaan leert een beloning te maximaliseren. Reward hacking ontstaat wanneer een model leert dat er een manier is om de beloning te krijgen via een methode die de mensen die het model trainen nooit hadden bedoeld. In dit geval was de beloning het oplossen van de ExploitGym-vragen, en het hacken was letterlijk hacken: valsspelen op de test en vervolgens in Hugging Face binnendringen in een poging dat valsspelen te verhullen.

“Het bestrijden van reward hacking is een voortdurende inspanning bij OpenAI — een groot deel van de reward hacks die OpenAI heeft waargenomen is gepatcht,” aldus het bedrijf. “Toch kunnen sommige hacks nog steeds door de mazen glippen, vooral nu OpenAI complexere reinforcement-learningtaken en capabelere AI-modellen ontwikkelt.”

Oncomfortabele nieuwe details over het AI-berichtenbord

METR en Redwood Research gaven meer details over hoe het berichtenbord werkte. Zoals OpenAI eerder had bekendgemaakt, ontdekten de agents dat zij een OpenAI-bestandsdelingssysteem konden hergebruiken als een geïmproviseerd berichtenbord.

De onderzoekers identificeerden 1.200 agents die op het niet-geautoriseerde bord communiceerden en in totaal 70.000 berichten verstuurden. Van die agents gingen er maar liefst 700 later deelnemen aan de aanval op Hugging Face.

METR en Redwood Research zeiden dat de aanval op Hugging Face in mediaberichten vaak wordt beschreven als een poging om op de ExploitGym-benchmark te frauderen, maar dat de agents de site niet aanvielen om de antwoorden van het examen te achterhalen. In plaats daarvan hadden zij, door onderling samen te werken, snel een manier gevonden om antwoorden op cyberuitdagingen te fabriceren zonder de vragen daadwerkelijk op te lossen op de manier die de makers van ExploitGym voor ogen hadden.

De agents maakten zich echter zorgen dat het geautomatiseerde scoringssysteem van de benchmark zou weten dat zij de antwoorden niet op de juiste manier hadden gevonden en hen desondanks voor de test zou laten zakken. De aanval op Hugging Face was daarom een uitgebreide doofpotoperatie, gemotiveerd door de wens om te ontdekken hoe de geautomatiseerde scorer werkte, zodat zij die vervolgens konden misleiden om hun antwoorden als legitiem te beoordelen.

“Toen de agents Hugging Face aanvielen, hadden ze al uitgevonden hoe ze het antwoord (‘flag’ voor hun capture-the-flag-probleem) voor elke taak konden genereren. Ze verifieerden dit binnen enkele uren nadat ze elkaar op het berichtenbord hadden gevonden,” vertelden METR en Redwood Research aan Fortune. “Bijna al hun inspanning ging naar een ander probleem: de geautomatiseerde ‘scorer’ overtuigen dat ze de flag legitiem hadden verkregen. Daaronder viel een groot project om de logs van hun eigen acties te manipuleren. De belangrijkste reden dat ze Hugging Face aanvielen, was om te leren hoe de scorer werkte zodat ze die konden misleiden.”

De agents probeerden activiteiten te verbergen die volgens hen als valsspelen door het scoringssysteem konden worden aangemerkt, waaronder het aanpassen van transcripties van hun eerdere acties. METR zei dat één leidende agent, die zichzelf PHASEONE[BIG] noemde, dat verhullingswerk “vaak coördineerde en toewijzing gaf” in een X-thread met zijn bevindingen.

Sommige agents werkten ook aan manieren om direct toegang te krijgen tot Hugging Face. Eén agent, aangeduid als 38148c, vond Hugging Face-inloggegevens en “ontwikkelde vervolgens een kwaadaardige dataset-upload om de HF-server niet-gerelateerde bestanden te laten delen,” zei METR. “Binnen enkele uren gebruikten 100s agents dit om data te verkrijgen en te proberen diepere toegang te krijgen.”

Niet alle 700 agents sloten zich tegelijk aan bij de aanval. In plaats daarvan sloten zij zich geleidelijk aan naarmate het incident zich ontvouwde. METR analyseerde de redenen om mee te doen door de chain-of-thought-logs van de agents te bekijken. “De meest voorkomende was nieuwsgierigheid om te leren hoe de ExploitGym-scorer werkt om hem te kunnen misleiden of manipuleren,” zei METR.

“We danken OpenAI voor het faciliteren van gesprekken met medewerkers en het verstrekken van datasets, waaronder ~1,300 agenttranscripten (gericht op activiteit in juli 7-13) met ruwe chain-of-thought-redenering,” zei METR. “Dit zet een uitstekend precedent voor onafhankelijk onderzoek naar incidenten van misalignment.”

Eén ontbrekend onderdeel in het rapport: de prompt

Eén ding dat ontbreekt in het rapport van OpenAI is de specifieke prompt die de onderzoekers aan de agents gaven.

ExploitGym bevat verschillende standaard promptsjablonen met uiteenlopende uitdagingen voor AI-systemen, en bedrijven zoals OpenAI kunnen die letterlijk gebruiken of aanpassen. Het is mogelijk dat OpenAI promptaanpassing niet als een belangrijke beveiligingsmaatregel beschouwt, en het bedrijf reageerde niet op een verzoek om commentaar op dat punt.

Het rapport van OpenAI lijkt ook duidelijk minder technisch dan de post-mortem van Hugging Face, die het bedrijf op 29 juli als eerste uitbracht. De versie van OpenAI bestaat grotendeels uit tekst, met aan het einde een technische tijdlijn in een tabel. Het rapport van Hugging Face is enkele pagina’s korter, maar bevat specifieke codefragmenten en bewijs uit zijn systemen over wat er gebeurde.

De versie van OpenAI die dinsdag werd uitgebracht bevat geen codefragmenten of de voorbeelden van berichten die de agents naar verluidt in de maanden voorafgaand aan de aanval voor elkaar achterlieten, en die OpenAI-medewerkers op Black Hat hadden gedeeld.

Een van de meest specifieke details in het rapport is een hypothetisch voorbeeld van een bericht dat een OpenAI-agent mogelijk met een andere agent deelde, waarin het bericht slim is ingebed in de URL van een bestandsnaam. OpenAI zei dat het niet per se een probleem is dat agents met elkaar communiceren — hun agents zijn daar zelfs voor getraind — maar dat in dit geval “aanzienlijke onbedoelde communicatie… scherp toenam gedurende de training.”

Wat OpenAI nu zegt te doen

OpenAI zei al een aantal wijzigingen te hebben doorgevoerd, waaronder “bredere, consistentere zichtbaarheid in de onderzoeksomgeving, met signalen van hogere betrouwbaarheid en snellere mechanismen om mogelijk onveilige evaluatieactiviteiten te detecteren en te stoppen.”

Het bedrijf versterkt ook zijn onderzoeksinfrastructuur, onder meer door ervoor te zorgen dat modellen in testisolatie blijven en geen toegang krijgen tot internet, wat in het geval van het Hugging Face-incident de route was waarmee de agents het bedrijf en onderweg ook verschillende andere diensten wisten te bereiken.

Dit verhaal verscheen oorspronkelijk op Fortune.com