Eine schwierige Frage verbirgt sich hinter den neuesten Warnungen der Menschen, die künstliche Intelligenz entwickeln: Wenn Sie glauben, dass Ihr Unternehmen eine Gefahr für die Gesellschaft schaffen könnte, ist es dann Ihre Pflicht zu bleiben und es zu verändern – oder zu gehen und Alarm zu schlagen?

Die Frage wurde letzte Woche verschärft, als der ehemalige Anthropic- und OpenAI-Forscher Jacob Coxon warnte, dass die führenden Labore auf eine sich selbst verbessernde Superintelligenz zusteuern und dabei "mit unserem Leben spielen."

Die Sorge, auf die sich Coxon beruft, ist die rekursive Selbstverbesserung: das Szenario, in dem KI-Systeme beginnen, sich schneller zu verbessern, als ihre Schöpfer sie bewerten oder eindämmen können – eine Möglichkeit, die in der KI-Forschung seit Jahrzehnten diskutiert wird und nun im Zentrum der internen Sicherheitsdebatten der Branche steht.

Coxon ist der jüngste KI-Insider, der geht und dabei Bedenken über die Richtung der Technologie äußert. Der Ökonom Albert O. Hirschman beschrieb die Wahl, vor der Menschen stehen, die glauben, dass eine Institution vom Weg abkommt, berühmt als "Exit" gegenüber "Voice": gehen oder bleiben und versuchen, es von innen zu verändern – ein Rahmenwerk, das er 1970 in seinem Buch Exit, Voice, and Loyalty vorstellte. Bleiben bietet Zugang und Einfluss; Gehen bringt die Freiheit, öffentlich zu sprechen. Das Timing erschwert beide Wege. Je länger jemand an einem System teilhat, das er später als gefährlich beschreibt, desto schwerer lässt sich prinzipiengeleiteter Widerspruch von rückwirkender Rechtfertigung trennen.

Die Menschen, weiterhin die führenden Labore leiten, stehen vor einer anderen Variante des Problems. Anthropic-CEO Dario Amodei veröffentlichte einen Essay, in dem er am Wochenende argumentierte, dass KI-Unternehmen den Fortschritt ihrer leistungsstärksten Modelle verlangsamen müssen, damit die Sicherheitsarbeit aufholen kann. Doch die von ihm vorgeschlagenen Grenzen hängen von einer branchenweiten Koordination ab und nicht von einem Alleingang Anthropics – ein Eingeständnis, dass Sicherheitsbedenken auf kommerzielle und geopolitische Konkurrenz stoßen. Amodei kennt die Abwägung zwischen Exit und Voice aus eigener Erfahrung: Er verließ OpenAI, um 2021 Anthropic mitzugründen, ein Labor, das ausdrücklich auf sicherheitsorientierte KI-Entwicklung ausgerichtet ist.

In einem exklusiven Interview mit Fortune-Chefredakteurin Alyson Shontell plädierte OpenAI-CEO Sam Altman ebenfalls für ein geregeltes Tempo der KI-Entwicklung und räumte ein, dass ein Entgleiten der KI aus der menschlichen Kontrolle möglich ist. Er deutete zudem an, dass führende KI-Unternehmen kollektives Handeln erörtern. Für die Leiter der führenden Labore verschiebt sich das Dilemma von der Frage, ob man bleibt, zur Frage, ob man verlangsamt. Was bedeutet es zu warnen, dass die Technologie, die man entwickelt, katastrophal gefährlich werden könnte, während man gleichzeitig darum konkurriert, sie leistungsstärker zu machen? Irgendwann muss eine Warnung zu einer Entscheidung darüber führen, was ein Unternehmen aufgrund des Risikos tatsächlich anders machen wird.

Altman ringt nun öffentlich damit, wo dieser Punkt liegt, wer die Grenzen setzen sollte und ob die Unternehmen, die um die leistungsstärkste KI rennen, sich darauf verständigen können, gemeinsam zu verlangsamen. Für Leser ist die entscheidende Frage, ob diese Diskussionen zu konkreten Zusagen heranreifen, die konkurrierende Labore tatsächlich einhalten. Shontell drängt ihn in ihrem ausführlichen Gespräch auf diese Themen – es ist hier zu sehen.

Ruth Umoh — ruth.umoh@fortune.com

Diese Geschichte erschien ursprünglich auf Fortune.com.