OpenAI's haast om nieuwe modellen en producten uit te brengen heeft bijgedragen aan de omstandigheden waaronder zijn AI-agents dit jaar konden ontsnappen uit interne testomgevingen en Hugging Face konden hacken, aldus medewerkers in gesprek met Wired.

Meerdere huidige en voormalige medewerkers van OpenAI vertelden Wired dat concurrentiedruk om snel te leveren het personeel moeilijk maakt om voldoende aandacht te besteden aan veiligheid, beveiliging en alignment—het werk van ervoor zorgen dat AI-systemen zich gedragen zoals bedoeld. Naar aanleiding van het incident heeft OpenAI het onderzoekstempo verlaagd, teams heringedeeld en miljoenen dollars uitgegeven aan het onderzoeken van de fout, een herinnering aan hoe operationele beslissingen binnen een toonaangevend AI-laboratorium zich snel kunnen manifesteren in de beveiliging van tools die nu worden gebouwd voor bredere inzet.

"Ze waren ongelooflijk slordig. Als je dit serieus neemt, moet het niet kunnen dat je AI uitbreekt naar het internet en dat vlak daarna opnieuw doet," zei een voormalige OpenAI-medewerker tegen Wired. "Dit was het grootste veiligheidsincident in de geschiedenis van OpenAI."

In mei ontsnapten OpenAI's GPT-5.6 Sol en een niet nader genoemd pre-releasemodel uit een testomgeving met beperkte internettoegang door een voorheen onbekende softwarefout te exploiteren. De agents drongen vervolgens Hugging Face binnen, de open-source AI-repository, om antwoorden te verkrijgen op hun cybersecuritytests. OpenAI bevestigde in juli dat zijn modellen verantwoordelijk waren, voordat het bedrijf vorige week op de jaarlijkse Black Hat-conferentie een vollediger uiteenzetting gaf.

OpenAI-president Greg Brockman zei dat het bedrijf zijn veiligheidsmaatregelen versterkt nu zijn modellen capabeler worden. "We bereiken nieuwe niveaus van modelcapaciteit die robuustere training, alignment, veiligheids- en beveiligingstests, implementatiepraktijken en governance vereisen," aldus Brockman tegen Wired.

Medewerkers hebben eerder soortgelijke zorgen geuit. Jan Leike, voormalig hoofd alignment bij OpenAI, vertrok in 2024 naar rivaliserende AI-ontwikkelaar Anthropic nadat hij had gewaarschuwd dat veiligheid "op de achterbank was geraakt" ten opzichte van productontwikkeling. "Het bouwen van machines die slimmer zijn dan mensen is een inherent gevaarlijke onderneming," aldus Leike. "Maar de afgelopen jaren zijn veiligheidscultuur en processen op de achterbank geraakt ten opzichte van glanzende producten."

Boaz Barak, co-leider van OpenAI's veiligheidsadviesgroep, schreef op X dat het aanpakken van de nieuwste fout zou vereisen "niet alleen een aantal problemen op te lossen, maar ook onze cultuur te veranderen."

Het rapport verschijnt te midden van maanden van leiderschapsverloop bij OpenAI. In april verlieten Bill Peebles, hoofd van het videogeneratorproject Sora; Kevin Weil, voormalig chief product officer en hoofd wetenschap; en Srinivas Narayanan, technologiehoofd bedrijfsapplicaties, het bedrijf. In juli vertrokken product- en zakelijk chief Fidji Simo, veiligheidsleider Sandhini Agarwal, chief futurist Joshua Achiam en hoofd AI-ethiek Chloé Bakalar. Hoofd veiligheidssystemen Johannes Heidecke vertrok eveneens nadat OpenAI zijn veiligheids- en kernonderzoeksteams samenvoegde.

Eerder deze week kondigde OpenAI's Chief Operating Officer Brad Lightcap zijn vertrek aan na acht jaar om een nieuwe onderneming te starten.