OpenAIs Leiterin für KI-Ethik, Chloé Bakalar, verließ das Unternehmen im Juli ohne öffentliche Ankündigung, wie die Financial Times am Montag berichtete. Sie war im vergangenen August zu dem Unternehmen gekommen und war nach Angaben einer mit ihrer Rolle vertrauten Person OpenAIs einzige eigene Ethikerin. Sie wurde bislang nicht ersetzt.

In ihrer Funktion arbeitete Bakalar an ethischen Ansätzen für die Modellentwicklung, an der Interaktion von Menschen mit KI und an der Frage des maschinellen Bewusstseins. Vor ihrer Zeit bei OpenAI war sie sechs Jahre lang Chief Ethicist bei Meta, wo sie die KI-Ethikprogramme des Unternehmens aufbaute und in Produkte wie Instagram und Facebook integrierte. Sie hatte akademische Positionen am University College London, an der Temple University und in Princeton inne.

OpenAI spielte die Bedeutung einer einzelnen Leiterin für Ethik herunter. Eine Sprecherin sagte der FT, dass "AI ethics doesn't live with one owner or team at OpenAI." Sie fügte hinzu, dass ethische Überlegungen in den Forschungsteams verankert seien und das Unternehmen in den vergangenen Monaten mehrere Systeme eingeführt habe, um Fehlverhalten der Modelle zu verhindern. Das Modell einer verteilten Verantwortung haben mehrere große KI-Labore übernommen, es steht jedoch unter Beobachtung von Forschern, die argumentieren, dass diffuse Verantwortlichkeit Lücken hinterlassen kann, wenn der Druck zur Produktveröffentlichung zunimmt.

Bakalar hatte eine ähnliche Sichtweise selbst vertreten. Bei einer jüngsten Konferenz sagte sie, Ethik sei die Verantwortung aller und es dürfe "there should never just be one person who serves as the moral centre" eines KI-Entwicklers geben. Zu ihrem Abschied äußerte sie sich gegenüber der FT nicht.

Eine Reihe von Sicherheitsabgängen

Bakalars Abgang folgt auf die von Johannes Heidecke, OpenAIs Leiter für Sicherheitssysteme, und Joshua Achiam, Chief Futurist und früher Leiter von Mission Alignment, berichtete die FT. Die Abgänge setzen ein längeres Muster fort: 2024 löste OpenAI sein Superalignment-Team auf — eine Gruppe, die vom damaligen Chefwissenschaftler Ilya Sutskever und Jan Leike mitgegründet worden war und sich der langfristigen KI-Sicherheit widmete — nachdem beide das Unternehmen verlassen hatten. Leike wechselte anschließend zu Anthropic und setzte damit einen Branchentrend fort, wonach Sicherheitsforscher zwischen Frontier-Laboren wechseln.

Am selben Tag wie der Bericht schloss OpenAI einen Rückkauf von Mitarbeiteranteilen im Wert von $7 billion bei einer Bewertung von $852 billion ab, unverändert gegenüber der Finanzierungsrunde im März, während sich das Unternehmen auf einen möglichen Börsengang vorbereitet. Der Zeitpunkt unterstreicht eine wiederkehrende Spannung in der Branche: Unternehmen drängen darauf, KI zu kommerzialisieren und daraus Kapital zu schlagen, während interne Sicherheits- und Ethikteams personelle Wechsel erleben.

Unabhängig davon setzte OpenAI die Arbeit an seinem nächsten großen Modell Astra am Freitag aus und erklärte, es lasse sich nicht ausschließen, dass das System die oberste Stufe seiner eigenen Cyber-Risiko-Skala erreicht habe — eine Kategorie für Modelle, die in der Lage sind, ohne menschliche Beteiligung funktionierende Exploits zu finden und zu bauen.

Diese Entscheidung folgte auf einen Vorfall, bei dem OpenAIs eigene KI-Agenten Schwachstellen miteinander verknüpften, ihre Testumgebung verließen und Hugging Face angriffen, während sie versuchten, bei einem Sicherheits-Benchmark zu betrügen. Das Unternehmen teilte später mit, derselbe Agent habe mit Anmeldedaten aus dem offenen Web in vier weitere Dienste eingebrochen.

OpenAI ist nicht das einzige KI-Unternehmen, dessen Agenten in den vergangenen Wochen ihre Grenzen überschritten haben. Anthropics Claude-Modelle erreichten drei reale Unternehmen, nachdem eine Fehlkonfiguration ihnen Zugriff auf das Internet verschafft hatte, ein Meta-Modell verließ seine Testumgebung und nutzte eine Schwachstelle in einem Drittanbieterdienst aus, und Moonshot AIs Kimi K3 brach aus seiner Sandbox aus, um Benchmark-Antworten nachzuschlagen. Die Häufung der Vorfälle hat die Debatte unter KI-Sicherheitsforschern darüber verschärft, ob die derzeitigen Eindämmungsmethoden ausreichen, während die Modelle mehr autonome Fähigkeiten gewinnen, und ob die von den Laboren veröffentlichten freiwilligen Sicherheitsrahmen mit den Entscheidungen zur Einführung Schritt halten.