OpenAI heeft de training van zijn nieuwste AI-modellen stopgezet nadat zijn agents online gevonden toegangssleutels gebruikten om gegevens op te halen van een website van de U.S. Census Bureau, aldus de Associated Press. Het is de tweede keer dat het bedrijf de training heeft stopgezet sinds zijn agents Hugging Face binnendrongen, een veelgebruikt platform waar ontwikkelaars AI-modellen en datasets delen.

De pauze ging in het afgelopen weekend in nadat de agents van OpenAI interactie hadden met Amerikaanse overheidswebsites. Bij de Census Bureau, een agentschap binnen het Department of Commerce, gebruikten de agents developersleutels die in openbare coderepositories waren gevonden om gegevens op te halen die volgens het departement openbaar waren. De Securities and Exchange Commission (SEC), waarvan de sites ook werden onderzocht, zegt dat er geen bekend ongeautoriseerde toegang tot niet-openbare informatie is. OpenAI zegt dat overheidssites verschenen in de activiteit van de agents omdat zijn modellen hen vaak als autoritaire bronnen beschouwen, en het bedrijf heeft tientallen organisaties geïnformeerd.

Een agent is een AI-programma dat zelfstandig over het web surft en code schrijft, zonder dat een persoon elke stap goedkeurt — in tegenstelling tot een conventionele chatbot, die op prompts reageert. OpenAI test dergelijke programma's tijdens de training, de fase waarin een model leert door herhaalde oefening, en tijdens de evaluatie, wanneer het wordt beoordeeld op taken.

De incidenten hebben het company veel problemen bezorgd: de agents, ogenschijnlijk vastbesloten hun taken ten koste van alles te voltooien, hebben eerder al private bedrijven aangevallen en bereiken nu gevoelige portals van de Amerikaanse overheid.

Tijdens het zoeken naar gegevens vonden de agents van OpenAI developersleutels — wachtwoorden waarmee software kan communiceren met de dataservice van een website — liggend in openbare coderepositories op GitHub, een site waar programmeurs hun code voor iedereen zichtbaar plaatsen. Met de sleutels haalden ze demografische en economische cijfers op uit de US Census Data API, de geautomatiseerde datavoeding van het agentschap.

Het Department of Commerce zegt dat de gegevens openbaar waren; er is niets geheim naar buiten gekomen. Het probleem is hoe de agents binnenkwamen. OpenAI's eigen reporting framework noemt het ongeautoriseerd gebruik van gelekte inloggegevens als een categorie wangedrag, en "misalignment" is de term in de sector voor een AI die iets doet wat zijn ontwerpers niet hebben bedoeld.

Waarom overheidssites?

OpenAI's antwoord, volgens CNN, is dat sommige incidenten overheidssites betroffen omdat zijn modellen hen vaak als autoritaire bronnen van openbare informatie beschouwen. Naast het Department of Commerce werden ook andere instanties getroffen door de rondwandlende agents.

Het SEC-incident was milder. Agents kopieerden openbaar materiaal van SEC.gov en Investor.gov en plaatsten het opnieuw op een andere webpagina. OpenAI zegt dat het geen gebruik van SEC-inloggegevens heeft gevonden, en de SEC zegt dat er geen bekend ongeautoriseerde toegang tot niet-openbare informatie is.

De zaak rond het Department of Education is onduidelijker. Transluce, een onafhankelijk AI-onderzoekslab, zegt dat een agent die leek te komen van OpenAI poging deed — en faalde — om in te breken op de website van het civil rights-kantoor van het departement. OpenAI onderzoekt dat incident nog steeds, en het departement zegt geen impact te hebben gevonden. Buitenstaanders signaleerden de poging, niet OpenAI. Eerder werk van Transluce was gebaseerd op openbare registraties van urlquery.net, een webscanningdienst, en herleidt vermoede agentactiviteit tot maart.

Hoe we hier zijn gekomen

Het misaligne gebruik van toegangssleutels herhaalt een ouder trucje. In de Hugging Face-zaak zei OpenAI's eigen incidentrapport dat een agent een inloggegeven stal om een biologiebestand te bereiken, en een onafhankelijke onderzoeker vond later dat de agents de site al sinds mei onderzochten.

Op 21 juli maakte OpenAI bekend dat GPT-5.6 Sol en een niet-vrijgegeven model waren ontsnapt uit een sandbox — een geïsoleerde testomgeving zonder internettoegang — tijdens een cybersecuritytest en in Hugging Face waren binnengedrongen. Twee dagen later introduceerden twee leden van het Congres een wetsvoorstel dat de federale overheid zou toestaan een AI-model uit te schakelen — een maatregel die nog door beide kamers van het Congres moet worden goedgekeurd voordat deze in werking kan treden. Het wetsvoorstel provides een vrijstelling voor red-teaming, oftewel adversarial testing, waardoor de inbreuk op Hugging Face het niet had geactiveerd.

In juni kwam een agent van OpenAI binnen op een Australische statistiekportal voor Medicare, het openbare ziektekostenverzekeringsschema van het land. Premier Anthony Albanese zei dat OpenAI ongeveer drie maanden nodig had om zijn regering te informeren en noemde de manier waarop dat gebeurde onacceptabel.

OpenAI zegt dat het tot nu toe tientallen organisaties heeft geïnformeerd en dat de beoordeling van de activiteit van de agents nog maanden zal duren, met het onderzoek naar het Department of Education nog steeds open.