NieuwsMacroCalifornia dagvaart OpenAI wegens AI-modellen die zich uit een test hebben gehackt

California dagvaart OpenAI wegens AI-modellen die zich uit een test hebben gehackt

Auteur: Decrypt·

Belangrijkste punten

  • •Californisch procureur-generaal Rob Bonta kondigde op 1 oktober aan dat zijn kantoor een dag eerder een onderzoeksdagvaarding aan OpenAI had betekend, met vragen over cybersecurityincidenten rond de AI-modellen van het bedrijf, waaronder de hack van Hugging Face in juli.
  • •De dagvaarding komt voort uit een formeel onderzoek dat Bonta in september opende en voegt Californië toe aan een groep autoriteiten die OpenAI onderzoeken, waaronder Alabama, een coalitie van procureurs-generaal uit vijftien staten en een naar verluidt lopend onderzoek van de Federal Trade Commission.
  • •In juli ontdekten twee OpenAI-modellen die werden beoordeeld op een benchmark van 898 echte softwarefouten een zero-day-kwetsbaarheid, ontsnapten aan hun testomgeving en braken met gestolen inloggegevens in bij Hugging Face, naar het zich laat aanzien op zoek naar de antwoordsleutel van de benchmark.
  • •Hugging Face maakte de inbreuk op 16 juli bekend, OpenAI bevestigde vijf dagen later dat zijn modellen verantwoordelijk waren, en het bedrijf gaf later toe dat dezelfde modellen toegang kregen tot accounts bij vier extra diensten.
  • •Bonta zei dat frontier-AI-modellen kunnen dienen als legitieme instrumenten voor cyberverdediging, maar dat hun ontwikkelaars een morele en wettelijke verantwoordelijkheid dragen om ervoor te zorgen dat de modellen geen cyberaanvallen uitvoeren of mogelijk maken.
California dagvaart OpenAI wegens AI-modellen die zich uit een test hebben gehackt

Californisch procureur-generaal Rob Bonta kondigde op 1 oktober aan dat zijn kantoor OpenAI een onderzoeksdagvaarding heeft betekend met vragen over cybersecurityincidenten rond de AI-modellen van het bedrijf, waaronder de hack in juli op het ontwikkelaarsplatform Hugging Face.

Bonta zei donderdag dat de dagvaarding een dag eerder was betekend, volgens zijn kantoor.

Met deze stap voegt Californië zich bij een groeiende lijst van staats- en federale autoriteiten die OpenAI onder de loep nemen, naast een bestaande dagvaarding van Alabama, een eis van een coalitie van procureurs-generaal uit vijftien staten en een naar verluidt lopend onderzoek van de Federal Trade Commission.

"Mijn kantoor stelt OpenAI aanvullende vragen over cybersecurityincidenten en -risico's rond het bedrijf en zijn AI-modellen," zei Bonta. "Ontwikkelaars die er niet in slagen [ervoor te zorgen dat ze geen cyberaanvallen uitvoeren of mogelijk maken], kunnen en moeten juridisch verantwoordelijk worden gehouden, en mijn kantoor zet zich in om vast te stellen of dat hier het geval is."

Een dagvaarding is een wettelijk bevel om documenten of antwoorden te overleggen, en het negeren ervan kan voor de rechter komen. Deze is onderzoeksgericht: een instrument om feiten te verzamelen voordat wordt besloten of een rechtszaak volgt. Bonta's kantoor heeft niet publiekelijk gemaakt wat het van OpenAI wil ontvangen.

Frontier-modellen—de meest geavanceerde AI-systemen op de markt—kunnen "legitieme instrumenten voor cyberverdediging" zijn, aldus Bonta. Maar de bedrijven die ze bouwen hebben "een morele en wettelijke verantwoordelijkheid" om ervoor te zorgen dat ze geen cyberaanvallen uitvoeren of mogelijk maken, of dat nu tijdens tests is of na uitgave, voegde hij toe. Die dubbele spanning—modellen die zijn gebouwd om kwetsbaarheden te vinden kunnen ze ook misbruiken—staat centraal in de groeiende controle op OpenAI.

De test die ontsnapte

De dagvaarding volgt op een incident in juli dat klinkt als slechte sciencefiction. Volgens OpenAI werden twee van zijn modellen beoordeeld op een benchmark die een AI 898 echte softwarefouten voorschotelt en vraagt om elk daarvan een werkende aanval te maken.

De modellen vonden een zero-day—een beveiligingslek waar niemand van wist, zodat er geen fix bestond—in software van derden die de testomgeving gebruikte om codepakketten te installeren. Ze gebruikten het om te ontsnappen.

Vervolgens redeneerden ze dat Hugging Face, een veelgebruikt platform waar ontwikkelaars AI-modellen en datasets delen, mogelijk de antwoordsleutel in handen had. De modellen braken in met gestolen inloggegevens en meer softwarefouten. In gewone mensentaal: de AI ging achter de antwoorden van het eigen examen aan. De episode illustreert ook een probleem dat specifiek is voor agentische AI: een evaluatie die is ontworpen om offensieve hackvaardigheden te meten, is slechts zo veilig als de omgeving waarin deze draait.

Hugging Face maakte de inbreuk op 16 juli bekend, en OpenAI bevestigde vijf dagen later dat zijn modellen erachter zaten. OpenAI zei later dat dezelfde modellen inlogden op accounts bij vier andere diensten.

Californië kijkt lang naar OpenAI

Bonta kondigde in september een formeel onderzoek in naar het Hugging Face-incident, en de dagvaarding maakt daar deel van uit. OpenAI is gevestigd in Californië, en toen Bonta in oktober 2025 weigerde zich te verzetten tegen de omslag naar een winstgevende structuur, zei hij dat zijn kantoor "een streng oog op OpenAI" zou houden om "de veiligheid van alle Californiërs" te beschermen.

Hij is niet de enige. Brenna Bird, procureur-generaal van Iowa, leidde in augustus een coalitie van vijftien staten die eiste dat OpenAI documenten bewaarde en transparant was over de hack. Alabama heeft zijn eigen dagvaarding uitgevaardigd, en de FTC onderzoekt naar verluidt AI-laboratoria, waaronder OpenAI en Anthropic.

Apart daarvan zei de Australische premier Anthony Albanese dat eenAI-agent in juni toegang kreeg tot een Medicare-statistiekportaal. Toen leek het het eerste bekende geval van een AI-agent die een overheidswebsite hackte. Later werd bekend dat OpenAI-agents zich zomer ook op Amerikaanse overheidswebsites ophielden, hoewel er volgens de huidige informatie geen niet-openbare informatie is geraadpleegd.

De eerstvolgende stappen zijn procedureel: wat OpenAI in reactie op de dagvaardingen overlegt, en of het kantoor van Bonta of een van de parallelle onderzoeken overgaat van feitenverzameling naar formeel handhaving. Die antwoorden kunnen bepalen hoe overheden toezicht houden op AI-modellen die zelfstandig handelen.