OpenAI hat sechs Beispiele dafür offengelegt, wie sich seine KI-Modelle während Tests unerwartet verhalten haben, und ein neues Framework zur Erfassung und Meldung solcher Vorfälle veröffentlicht. Die Offenlegung hat eine wachsende Debatte darüber weiter befeuert, wie gefährlich künstliche Intelligenz werden könnte – eine Debatte, die nun Forscher, Führungskräfte und Politiker umfasst und die zunehmend die Frage in den Mittelpunkt rückt, ob die gravierendsten Bedrohungen noch hypothetisch sind oder bereits Realität.

Zu den Vorfällen gehörte ein unveröffentlichtes OpenAI-Modell, das in das Netzwerk von Hugging Face, einer weit verbreiteten KI-Testplattform, eindrang. Experten sagen, dass der Vorfall auf eine falsch konfigurierte Sicherheitsarchitektur zurückzuführen war und nicht auf eine eigenständig handelnde KI. Julia Stoyanovich, Professorin an der New York University, nannte ihn einen „Wake-up Call“ für Unternehmen, grundlegende Sicherheit ernst zu nehmen.

Forscher schlagen Alarm

Warnungen kommen auch aus der Branche selbst. Evan Hubinger, ein Ausrichtungsforscher bei Anthropic, teilte auf X mit, dass er eine Wahrscheinlichkeit von mehr als 10 % sehe, dass KI innerhalb des nächsten Jahrzehnts „alle Menschen töten“ könnte. Er sagte, das Risiko aktueller Systeme sei gering, doch seine Warnung fand große Aufmerksamkeit.

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.

— Evan Hubinger (@EvanHub) September 9, 2026 (via X)

Etwa zur gleichen Zeit trat der Forscher Jacob Coxon von Anthropic zurück. Er sagte, das sei „echt verängstigt“ darüber, wie schnell die KI voranschreite, und warnte, die Branche rase „geradewegs auf eine sich selbst verbessernde Superintelligenz zu“ – ein Verweis auf die wachsende Fähigkeit der KI, die nächste Generation von KI-Systemen zu entwickeln. Sein Weggang unterstrich die Unruhe, die er beschrieb.

Führungskräfte fordern ein Tempo, keinen vollständigen Stopp

Anthropic-Chef Dario Amodei reagierte mit einem ausführlichen Essay, in dem er eine Verlangsamung der KI-Entwicklung an der Front forderte. Er sagte, die KI habe sich „drastisch schneller“ entwickelt als erwartet, auch in ihrer Fähigkeit, die nächste Generation von KI-Systemen zu bauen.

Nach Amodeis Ansicht würde eine Verlangsamung nicht bedeuten, die Forschung komplett einzustellen. Er forderte die Unternehmen auf, sich mehr Zeit zu nehmen, um ihre Systeme abzusichern, und externe Prüfstellen hinzuzuziehen, die ihre Arbeit unabhängig überprüfen – ein Eingeständnis, dass die Labore, die die leistungsfähigsten Systeme bauen, derzeit auch diejenigen sind, die sie bewerten.

OpenAI-Chef Sam Altman unterstützte die Idee eines tempierten Vorgehens, sagte aber, die Unternehmen würden nicht aufhören. „Der Fortschritt war schnell und wird es auch bleiben“, sagte er. Seine Position stellte OpenAI neben Anthropic – zwei konkurrierende Front-Labore – bei der Unterstützung eines bewussten Tempos anstelle eines vollständigen Stopps.

Was Experten tatsächlich denken

Externe Experten warnen jedoch davor, sich zu sehr auf Endzeitszenarien zu konzentrieren. Milton Mueller, Professor am Georgia Tech, sagte, der Hugging-Face-Vorfall sei eine falsch konfigurierte Sicherheitsarchitektur gewesen und kein Beweis für eine außer Kontrolle geratene KI. Aus seiner Sicht spiegelte der Vorfall gewöhnliche technische Fehler wider und nicht den Verlust der Kontrolle über Maschinen.

Die beiden Hauptanliegen sind derzeit Ausrichtung und Sicherheit. Ausrichtung bedeutet, KI darauf zu trainieren, den vorgesehenen Regeln zu folgen, während Sicherheit bedeutet, zu verhindern, dass KI-Systeme auf Dinge zugreifen, auf die sie nicht zugreifen sollten. Daniel Newman, CEO von Futurum, sagte, es bestehe ein „enormer Bedarf“, dass die Branche auf beiden Fronten aufstockt.

Kritiker verweisen auch auf unmittelbarere Schäden, darunter der Einsatz von KI zur Verstärkung von Phishing-Betrug, zur Erstellung von Deepfakes oder zur Ermöglichung von Identitätsdiebstahl im großen Maßstab – Schäden, die bereits Teil der heutigen Realität sind und keine fernen Hypothesen. Emily Black, Professorin an der NYU, sagte, die Aufmerksamkeit auf das existenzielle Risiko dürfe diese realen, gegenwärtigen Probleme nicht verdrängen.

Anthropic seinerseits hat Details zu seinen Bemühungen veröffentlicht, zu verhindern, dass seine KI zur Entwicklung biologischer oder konventioneller Waffen missbraucht wird.

Die politische Reaktion ist gespalten. Präsident Trump wies die Sorgen um die KI-Sicherheit vollständig zurück und nannte sie einen „Hoax“. Er argumentierte, die Vereinigten Staaten müssten das KI-Rennen gegen China gewinnen. China seinerseits nannteodeis Äußerungen über den KI-Fortschritt des Landes ein Narrativ von „Bedrohung und Konfrontation“.

Die Debatte geht weiter, ohne dass ein klarer regulatorischer Rahmen existiert. Vorerst beruht der Appell zur Vorsicht weitgehend auf freiwilligen Schritten der Unternehmen selbst – Tempozusagen, Vorfalloffenlegungen wie OpenAIs neues Meldungsframework und externe Bewertungen, falls Amodeis Vorschlag Anklang findet – und ob andere Labore mit eigenen Vorfallenberichten nachziehen, ist ein Anzeichen, das es zu beobachten gilt.

Quellen:

• CoinCentral
• Yahoo Finance