Sarah Yager, OpenAIs erste Leiterin für Menschenrechte und verantwortungsvollen Einsatz, erklärte, dass die Fragen, die durch die militärische Einführung künstlicher Intelligenz aufgeworfen werden, sie ständig beschäftigen – und dass vor allem die mögliche Nutzung der Technologie bei Zielermittlung und autonomen Waffen sie am meisten beunruhigt.

„Alle sind sehr besorgt, und das zu Recht“, sagte Yager am Dienstag auf der Bühne der ScaleUp:AI-Konferenz in New York City. „Das lässt mich nachts nicht schlafen: ‚Was wird das Militär mit KI bei der Zielermittlung machen? Und was ist mit autonomen Waffen? Und wo führt das alles hin?‘“

Yager übernahm die neu geschaffene Position im Juni und bringt rund 30 Jahre Menschenrechtserfahrung in ein Unternehmen ein, dessen Partnerschaft mit dem Department of War (DoW) – dem umbenannten Verteidigungsministerium – es ins Zentrum der KI-Offensive des US-Militärs gerückt hat. Ihr Aufgabengebiet konzentriert sich ganz auf militärische Anwendungen.

Militärs weltweit integrieren KI zügig in ihre Operationen, während sie neue Waffen und autonome Systeme wie Drohnen und Roboter entwickeln. Von innen heraus befasst Yager sich nun, aus einem der mächtigsten KI-Unternehmen der Welt, mit den schwierigen Fragen, die dieser Wandel aufwirft.

„Ich wollte schon immer an Orte gehen und Menschen überzeugen, wo Menschenrechte nicht unbedingt die dominierende Idee waren“, sagte sie. „Mit Verzeihung gegenüber meinen OpenAI-Kollegen: Ich bin jetzt im Bauch des Tieres, und das ist eigentlich ein sehr angenehmer Ort für mich, denn was ich gerne tue, ist überzeugen, diskutieren, debattieren und hoffentlich etwas bewegen.“

Eine ungewöhnliche Einstellung nach einem umstrittenen Vertrag

OpenAI sprach Yager kurz nach der Unterzeichnung eines Vertrags mit dem DoW im späten Februar an, um fortschrittliche KI-Systeme in klassifizierten Umgebungen einzzen. Der viel beachtete Deal folgte auf einen öffentlichen Bruch zwischen dem DoW und Anthropic. Anthropic hatte Schutzvorkehrungen für die militärische Nutzung seiner Technologie gefordert – konkret Verbote von massenhafter öffentlicher Überwachung und vollautonomen Waffen –, die das DoW nicht akzeptierte. Das Ministerium stufte Anthropic daraufhin als Lieferkettenrisiko ein, und OpenAI sprang ein und übernahm den Vertrag, mit dem Hinweis, es habe das DoW zu ähnlichen Schutzvorkehrungen bei Überwachung und autonomen Waffen bewegen können. OpenAI beschrieb die Vereinbarung in einem Unternehmens-Blogbeitrag.

Für Yager war die Aussicht, bei OpenAI zu arbeiten, kein „sofortiges Ja“. Sie hatte, wie die Interviewerin auf der Bühne formulierte, die Sorge, als „Branding-Übung“ eingestellt zu werden – eine Marionette, die dem Unternehmen ein verantwortungsvolles Image verleihen könnte, ohne tatsächlichen Einfluss auf die Technologie. Bei ihrer Sorgfaltsprüfung sprach sie mit Mitarbeitenden, insbesondere mit „der jüngeren Generation, die sich sehr darum sorgt, was sie erschaffen und wer am Steuer sitzt“. Das überzeugte sie, die Position anzunehmen und zu prüfen, ob sie etwas bewirken kann.

Reale Risiken und realer Einfluss

Seit ihrem Eintritt konnte Yager die Richtung der Technologie teilweise beeinflussen, bleibt aber besorgt darüber, wohin sie sich entwickelt. Die Tragweite wurde letzten Monat deutlich, als CNN berichtete, das US-Militär habe ein chinesisches Militärschiff auf Basis eines ungenauen, KI-generierten Geheimdienstberichts beinahe ins Visier genommen – ein Beinahe-Zwischenfall, der genau die Fragen der Zielermittlung betraf, die sie laut eigener Aussage am meisten beunruhigen.

Yager hat direkt mit Forschern und Ingenieuren zusammengearbeitet, um die Modelle zu verbessern – unter anderem um sicherzustellen, dass sie angemessen auf grundlegende internationale Abkommen reagieren, etwa die 1949 bei den Genfer Konventionen nach dem Zweiten Weltkrieg festgelegten Kriegsgesetze. Sie holte internationale Experten ins Haus, die „buchstäblich an Tastaturen saßen und Prompts für wirklich hochriskante Szenarien eingaben“, und ließ Ingenieure die Modelle daraufhin anpassen.

„Das hatte es vorher nie gegeben, das war äußerst erfüllend“, sagte Yager.

Ihrer Ansicht nach versuchen KI-Unternehmen, Fragen wie die Definition von Menschlichkeit und Moral neu zu erfinden, obwohl die Gesellschaften darauf längst Antworten gefunden haben. „Gesellschaften haben vieles davon bereits geklärt, und es heißt Menschenrechte. Das sollte die Grundlinie sein“, sagte sie mit Verweis auf die Genfer Konventionen. „Ich möchte nicht, dass ein KI-Unternehmen mir sagt, was gut ist. Wenn wir die Industrie bestimmen lassen, was gut ist, dann ist es ein:user alle gegen alle.“

„Zurück zum Menschen in den Menschenrechten“

Yager zeigte sich auch beunruhigt über die anhaltende Debatte im Silicon Valley darüber, ob KI-Systeme – insbesondere die neuen Agent-Technologien – Rechte haben sollten. OpenAI stellte ihr diese Frage im Bewerbungsprozess. Sie antwortete damals „Nein“ und betonte, ihr Fokus liege auf den Menschenrechten, hat aber seither weiter darüber nachgedacht. Nun ist sie offener für die „äußerst wichtigen“ Gespräche darüber, „wie Agents in die Rechtsstrukturen, die Arbeitsstrukturen und die Steuerstrukturen passen“, stellt jedoch klar, dass diese Fragen keine Frage von Rechten seien.

„Das ist in keiner Weise mit Menschenrechten vergleichbar, und ich würde mir wirklich wünschen, dass wir zurück zum Menschen in den Menschenrechten kommen“, sagte sie. Das Publikum – überwiegend Geschäftsmänner im Anzug – begann zu applaudieren. „Großen Applaus dafür“, sagte die Interviewerin auf der Bühne.

Wer KI entwickelt, ist entscheidend

Ein weiteres Anliegen von Yager ist die relativ geschlossene demografische Zusammensetzung der Gruppen, die KI entwickeln. Letzte Woche versammelte Präsident Trump Dutzende Tech-Führer in Washington, um über KI-Sicherheit zu sprechen. Alle Unterzeichner des freiwilligen Sicherheitsabkommens waren Männer, und Fotos der größeren Gruppe bei einem Mittagessen zeigten: Alle Teilnehmenden waren Männer – mit Ausnahme der AMD-Chefin Lisa Su.

„Männer sind großartig, aber es war ein sehr männliches Bild davon, wer künftig über KI entscheiden wird“, sagte Yager. „Ein Problem dabei ist, dass KI das Kräftegleichgewicht zwischen Menschen weltweit grundlegend verschiebt. Die betroffenen Gemeinschaften sah man dort nicht.“

Yager wies darauf hin, dass die Regierung selbst rasch KI übernimmt. Sie hilft Aufsichtsbehörden wie dem Government Accountability Office und dem Office of Inspector General, Tools zu entwickeln, um die Aktivitäten der Regierung zu überwachen – ein Rechenschaftsmechanismus, der „sich wichtig für die Demokratie anfühlt“, wie sie sagte. Damit reicht ihre Rolle über die Gestaltung von OpenAIs eigenen Modellen hinaus: Sie hilft bundesstaatlichen Kontrollbehörden, die KI-Einführung der Regierung selbst zu prüfen.

Diese Geschichte erschien ursprünglich auf Fortune.com.