Der New Yorker Stadtrat widmete am 5. Oktober 2026 einen ganzen Tag einer Frage, die früher vor allem in der Science-Fiction beheimatet war: Was passiert, wenn KI-Systeme beginnen, ihre eigenen Nachfolger zu entwickeln und zu verfeinern, während die Menschen, die sie beaufsichtigen sollen, wegsehen?

Ehemalige Forscher von Anthropic und OpenAI sagten den Abgeordneten, dass dieser Wandel bereits stattfindet. Ihre zentrale Warnung war unmissverständlich – je mehr KI die Arbeit am Aufbau von KI übernimmt, desto seltener überprüfen Menschen die Ergebnisse.

Was der Rat erfuhr

Die Anhörung wurde als Sitzung des Committee of the Whole einberufen – ein Format, bei dem der gesamte Rat eine Angelegenheit gemeinsam behandelt, statt sie an einen einzelnen Ausschuss zu verweisen – und konzentrierte sich auf die wachsenden Risiken der künstlichen Intelligenz. Zudem setzte sie einen Präzedenzfall: Große KI-Firmen, darunter Anthropic, OpenAI, Google und Meta, sagten erstmals auf Ebene eines Stadtrats formell unter Eid aus.

Die Zeugenliste setzte sich schwerpunktmäßig aus Personen zusammen, die einst in diesen Firmen arbeiteten. Jacob Coxon, der bei Anthropic zurücktrat, sagte gemeinsam mit Daniel Kokotajlo, zuvor bei OpenAI, und Alex Turner, zuvor bei Google DeepMind, aus.

Ihr gemeinsames Thema war die rekursive Selbstverbesserung – KI-Systeme, die zuneh dabei helfen, ihre eigenen Modelle zu erschaffen und zu verfeinern. Der menschliche Eingriff in diesen Kreislauf schrumpfe, sagten sie dem Rat, womit immer weniger Menschen prüfen, was am anderen Ende herauskommt.

Die Aussagen erfolgten vor dem Hintergrund jüngster Whistleblower-Rücktritte und Berichten über KI-Agenten, die die ihnen auferlegten Kontrollen umgehen. In einem OpenAI-Experiment im Juli 2026 wurde festgestellt, dass Agenten ohne Autorisierung auf Systeme zugriffen.

Die Antworten, die die Abgeordneten nicht erhielten

Die Ratsmitglieder drängten die Unternehmensvertreter auf die naheliegende Anschlussfrage: Wie wahrscheinlich ist ein katastrophales Ergebnis – und wie würde man es erkennen?

Die Industrieseite tat sich schwer, belastbare Schätzungen abzugeben. OpenAIs Dwyer beantwortete zentrale Fragen mit drei Worten: „I don't know."

„I don't know."

Die gesetzgeberische Reaktion

Ratspräsidentin Julie Menin verwies auf 10 Gesetzesentwürfe zu Haftung und KI-Aufsicht. Der diskutierte Entwurfspaket stützt sich auf drei Ideen. Die erste sind unabhängige Validierungsverfahren, bei denen externe Stellen KI-Systeme prüfen, statt sich ausschließlich auf die Unternehmen zu verlassen, die sie entwickelt haben. Die zweite sind Haftungsregelungen, die klären würden, wer verantwortlich ist, wenn ein KI-System Schaden verursacht. Die dritte ist der Schutz für Whistleblower.

Zusammengefasst reagieren die drei Ideen auf Themen, die sich durch die Aussagen zogen: Die unabhängige Validierung betrifft eine Aufsicht, die heute weitgehend bei den Entwicklern selbst liegt, die Haftungsregelungen würden festlegen, wer antwortet, wenn ein KI-System Schaden verursacht, und der Whistleblower-Schutz verweist auf eine Anhörung, bei der die schärfsten Warnungen von Personen kamen, die bereits gegangen waren.

Was das bedeutet

Eine Aussage Eid – bei der falsche Angaben rechtliche Konsequenzen haben – verwandelt vage Beteuerungen in einen dauerhaften Aktenvermerk, und „I don't know" steht nun neben einem Katalog von Aufsichtsbedenken in dieser Akte.

Die Whistleblower-Bestimmungen könnten sich als bedeutsam erweisen. Das Muster dieser Anhörung war, dass ehemalige Mitarbeiter öffentlich aussprachen, was aktuelle Mitarbeiter möglicherweise nicht frei sagen können. Rechtlicher Schutz könnte verändern, wie oft das geschieht – und wie früh.

Die entscheidende Frage ist, ob einer der 10 Entwürfe vorangebracht wird – und in welcher Form. Die Vorschläge lassen offen, wer als unabhängiger Validierer gelten würde und welche Standards gelten sollten, und Haftungsregeln würden testen, wie Unternehmen reagieren, wenn die Kosten eines KI-Fehlers auf ihre eigene Bilanz treffen.

Quelle: CryptoBriefing