NieuwsAandelenControverse rond 'plotselinge' ontslag van OpenAI-veiligheidsteamleden betrokken bij onderzoek naar Hugging Face-hack neemt toe

Controverse rond 'plotselinge' ontslag van OpenAI-veiligheidsteamleden betrokken bij onderzoek naar Hugging Face-hack neemt toe

Auteur: Fortune Crypto·

Belangrijkste punten

  • •OpenAI ontsloeg drie leden van het veiligheidsteam—Tomek Korbak Mikita Balesni en Jasmine Wang—met een verwijzing naar overtredingen van het beleid voor de omgang met informatie, al werden geen specifieke redenen bekendgemaakt.
  • •De voormalige werknemers publiceerden op 8 oktober een gezamenlijke brief waarin zij ontkenden informatie over het Astra-model te hebben gelekt of zich te hebben misdroegen in hun contacten met METR.
  • •Korbak verklaarde mondeling te zijn verteld dat zijn ontslag verband hield met de manier waarop hij met METR communiceerde, terwijl Wang aangaf dat de genoemde reden haar toegang tot de e-mail van een bestuurder was.
  • •OpenAI verklaarde dat een intern onderzoek een aanzienlijke schending van vertrouwen aan het licht bracht die verder ging dan in de brief werd beschreven, en herbevestigde de samenwerking met externe safety-assessoren.
  • •Critici, waaronder een Google DeepMind-onderzoeker en een voormalig head of safety transparency bij OpenAI, hebben de veiligheidscultuur van het bedrijf na de ontslagen publiekelijk in twijfel getrokken.
Controverse rond 'plotselinge' ontslag van OpenAI-veiligheidsteamleden betrokken bij onderzoek naar Hugging Face-hack neemt toe

Op sociale media en binnen de muren van OpenAI woedt een debat over waarom het bedrijf vorige week drie leden van het veiligheidsteam heeft ontslagen. Zowel de voormalige werknemers als OpenAI hebben inmiddels aanvullende verklaringen uitgegeven om hun kant van het verhaal toe te lichten.

Het geschil reikt verder dan de personeelsbeslissingen van één bedrijf: in de kern gaan de vragen over hoeveel zicht externe onderzoekers moeten hebben op grensverleggende AI-modellen, en of werknemers die voor dat zicht pleiten dat kunnen doen zonder hun baan op het spel te zetten.

Twee van de ontslagen onderzoekers—Tomek Korbak en Mikita Balesni—werkten aan OpenAI's onderzoek naar het door Fortune eerder gemelde beveiligingsincident bij Hugging Face. Korbak was het technische aanspreekpunt voor METR, het externe onderzoeksbureau dat OpenAI vroeg een onafhankelijke audit van het incident uit te voeren—het soort externe beoordeling waar AI-labs op leunen om veiligheidsclaims over hun krachtigste systemen te onderbouwen. De derde ontslagen werknemer, Jasmine Wang, was programmamanager binnen OpenAI's veiligheidsteam.

The Wall Street Journal bracht de ontslagen op 1 oktober als eerste naar buiten. Destijds verklaarde OpenAI dat de betrokkenen "gevoelige informatie hadden verkeerd behandeld buiten de vastgestelde bedrijfsprocedures om, in strijd met ons beleid en waarbij het vertrouwen dat essentieel is voor ons werk was geschaad."

Voormalige werknemers publiceren brief als reactie op de beschuldigingen

Sindsdien lijken gesprekken en controverse binnen de gelederen van OpenAI door te gaan, wat de drie voormalige werknemers ertoe bracht gezamenlijk een brief van vier pagina's te schrijven, gepubliceerd op 8 oktober.

De brief reageert op "diverse versies van de gebeurtenissen die circuleren" onder OpenAI-medewerkers en verwijst naar lopende "interne en externe communicatie" over het ontslag waarvan de voormalige werknemers zeggen dat deze huidige medewerkers "bang maakt om te spreken".\n"Ontslagen zoals het onze, zo plotseling uitgevoerd en gecommuniceerd, koelen de open cultuur die OpenAI vroeger hoog in het vaandel had", staat in de brief. "Juist die cultuur verdedigen we met deze brief."

De twee grootste thema's in de brief zijn OpenAI's vermogen om zijn geavanceerde modellen te monitoren en de samenwerking met externe veiligheidsorganisaties zoals METR—beide bepalen in hoeverre externe partijen systemen kunnen evalueren die ze anders niet kunnen observeren. De voormalige werknemers ontkennen dat ze zorgen over de monitorbaarheid van OpenAI's nieuwste Astra-model hebben gelekt aan The Information, dat op 1 september een artikel over de kwestie publiceerde. Ook ontkennen zij elk wangedrag in hun communicatie met METR.

De medewerkers roepen OpenAI op de mogelijkheid te behouden om zijn geavanceerde modellen nauwlettend te monitoren, vast te houden aan de toezegging om externe safety-auditors binnen de organisatie in te bedden, en een open en transparante cultuur te bevorderen.

"We maken ons zorgen dat onze ontslagen kunnen worden gebruikt als rechtvaardiging om OpenAI's samenwerking met METR te beëindigen, of om externe auditors anderszins veel beperktere toegang en een beperktere reikwijdte te bieden", aldus de brief.

Tegenstrijdige verhalen over de redenen voor het ontslag, maar niets concreets

OpenAI heeft de specifieke redenen voor de ontslagen niet bekendgemaakt, maar vertelde Fortune dat het een patroon van wangedrag bij de drie werknemers aantrof, waaronder een aantal overtredingen die duidelijk inbreuk maakten op het beleid voor de omgang met informatie. Het bedrijf bracht de ontslagen niet in verband met de communicatie met METR of het Hugging Face-incident.

Elke voormalige werknemer gaf deze week een korte eigen toelichting in berichten op sociale media die naar de gezamenlijke brief verwijzen.

Korbak zei op X dat OpenAI hem mondeling, niet schriftelijk, vertelde dat hij "was ontslagen vanwege de manier waarop ik met METR communiceerde".

"Vorige week werd ik opgeroepen voor een gesprek met OpenAI's hoofd van veiligheid, die zei dat ze mij niet langer vertrouwden. Een beveiliger nam mijn badge in beslag en begeleidde mij het gebouw uit", aldus Korbak. "Met METR praten was mijn werk."

Wang zei op X dat de reden die OpenAI haar gaf was dat zij toegang had tot de e-mail van een niet bij naam genoemde bestuurder. Het bedrijf had haar die toegang verleend voor wervingswerk, en toen zij die niet langer nodig had, vroeg zij IT de toegang in te trekken, maar haar verzoek werd nooit afgerond.

"Wij waren niet de eersten die onder verdachte omstandigheden bij OpenAI werden weggedrukt", aldus Wang. "Tenzij werknemers nu in opstand komen tegen dit soort tactieken, vrees ik dat wij niet de laatsten zullen zijn. De boodschap aan iedereen die nog bij OpenAI werkt is duidelijk: Uit u uw zorgen of werk nauw samen met externeigheidsgroepen, dan kunt u de volgende zijn—zonder dat men u vertelt waarom."

Balesni zei op X dat hij en zijn collega-onderzoekers "werden ontslagen omdat zij veiligheid voorrang gaven boven de korteterijnbelangen van OpenAI als bedrijf."

Heeft OpenAI een ongezonde veiligheidscultuur?

Als reactie op de brief stuurde OpenAI een interne memo aan medewerkers en publiceerde het een openbare verklaring op X. "Ons interne onderzoek bracht een aanzienlijke schending van vertrouwen aan het licht die verder gaat dan wat in de door hen gepubliceerde brief staat, en wij staan achter de beslissing om hun dienstverband niet voort te zetten", aldus het bedrijf.

Het gebrek aan duidelijkheid over wat de werknemers precies hebben gedaan, of wat zij mogelijk met METR hebben gedeeld, heeft tot speculatie geleid over wat er is gebeurd. METR reageerde niet op Fortune's verzoek om commentaar.

"Ik kan nauwelijks een wereld bedenken waarin OpenAI's acties hier gerechtvaardigd zijn", zei Neel Nanda, medewerker bij Google DeepMind die eerder bij Anthropic werkte, in een bericht op X. "Mensen ontslaan vanwege een oprechte poging om hun beste oordeel te gebruiken in een nieuwe en onzekere situatie is een teken van een hoogst ongezonde cultuur."

David Robinson, voormalig head of safety transparency bij OpenAI, sprak deze maand ook uit over de "kapotte" veiligheidscultuur van het bedrijf in een opiniebijdrage in The Atlantic, waarin hij schrijft dat het bedrijf "nauwelijks veilig genoeg" is en leunt op "trial and error". Hij wijst op het Hugging Face-incident als bewijs, en stelt dat de veiligheidsmaatregelen die het bedrijf daarna trok desondanks niet voorkwamen dat er zich nieuwe incidenten voordeden.

OpenAI deelde een deel van zijn interne memo aan medewerkers, afkomstig van zijn onderzoeksleiders, met Fortune—naar verluidt geschreven door Mark Chen, chief research officer, hoewel het bedrijf de auteur niet noemde. De memo bevestigde OpenAI's verbintenis om met externe safety-assessoren samen te werken en verklaarde "monitorbaarheid is voor ons van het grootste belang".

"Ik koester onze open cultuur van debat, vooral als het om veiligheid gaat, en beschouw deze openheid als cruciaal voor het nemen van de juiste beslissingen", aldus de memo. "Ik wil heel duidelijk zijn dat deze beslissingen niet gingen over het uiten van veiligheidszorgen of het spreken in het openbaar. Dat hebben we altijd aangemoedigd en dat zullen we altijd blijven doen."

OpenAI verklaarde nog steeds bereid te zijn met externe safety-assessoren samen te werken en is momenteel contracten aan het afronden die het "in de komende weken" zal aankondigen. De mate van toegang die die overeenkomsten externe assessoren bieden—en hoe dicht die bij de ingebedde constructies ligt waarvan de brief OpenAI vraagt deze te behouden—zal de meest concrete indicatie geven van hoe deze uitgesproken verbintenissen vorm krijgen.

Dit verhaal werd oorspronkelijk gerapporteerd door Fortune.