Der Kongress hat fast ein Jahrzehnt lang Anhörungen zu künstlicher Intelligenz abgehalten, ohne.fast nichts zu dessen Sicherheit zu verabschieden. Nun will der New Yorker Stadtrat herausfinden, ob eine Stadt schaffen kann, was Washington nicht gelungen ist.

Am Freitag hat Stadtratsvorsitzende Julie Menin ein Paket von Gesetzen vorgestellt, das für in der Stadt verkaufte KI-Systeme eine externe Validierung und einen Kill-Switch vorschreibt, Whistleblower, die Verstöße melden, bezahlt und New Yorkern ermöglichen soll, KI-Unternehmen zu verklagen, wenn umgangene Sicherheitskontrollen ihnen Schaden zufügen. Die Gesetzgebung wird am 5. Oktober in einer Anhörung des Committee of the Whole mit allen 51 Ratsmitgliedern behandelt. Anders als das festgefahrene föderale Vorgehen beansprucht der Rat eine direkte Zuständigkeit: Die Unternehmen hinter diesen Systemen verkaufen ihre Produkte in New York und unterhalten dort einige ihrer größten Büros.

„Wir wollen auf keinen Fall Innovation ersticken. Wir wollen sicherstellen, dass New York die KI-Hauptstadt der Welt bleibt, aber damit geht Verantwortung einher“, sagte Menin gegenüber Fortune. „Ich glaube nicht, dass diese beiden Ideen sich gegenseitig ausschließen. Tatsächlich gehören sie für mich zusammen.“

„Man will die Hauptstadt der Innovation sein – und die Hauptstadt der klugen, vernünftigen Regulierung mit den dazugehörigen Leitplanken, weil die Menschen Vertrauen in das Produkt selbst haben sollen“, so Menin.

Eine vielbeachtete Anhörung

Der Rat hat Dario Amodei, Sam Altman, Sundar Pichai, Elon Musk und Mark Zuckerberg – die CEOs von Anthropic, OpenAI, Google, SpaceXAI und Meta – eingeladen, auszusagen. Die Anhörung am 5. Oktober wird ein Committee of the Whole sein, ein Format, das der Stadtrat zuletzt 2022 einberufen hat.

Mit der Anhörung vertraute Quellen sagten gegenüber Fortune, dass voraussichtlich keiner der fünf geladenen Führungskräfte erscheinen wird, obwohl sich der Stadtrat das Recht vorbehält, sie vorzuladen. Die Unternehmen reagierten nicht sofort auf Fortunes Anfragen um Stellungnahme. Ob einer der fünf teilnimmt – oder ob der Rat ihre Aussage erzwingen will – wird der sichtbare Test dafür sein, auf wie viel Widerstand das Paket stößt.

Dennoch schließt das nicht aus, dass andere Führungskräfte die Unternehmen vertreten, und Menin sagte, das Ziel sei, dass die Öffentlichkeit Vertrauen in diese Institutionen gewinnt. „Diese Art von Regulierung stärkt tatsächlich das Vertrauen der Menschen in diese KI-Technologien“, sagte sie.

Städte übernehmen die Führung

Für Menin, eine Regulierungsanwältin, die Politikerin wurde, ist die Gesetzgebung nicht darauf ausgelegt, innerhalb der Stadtgrenzen zu bleiben. „Als Regulierungsanwältin und als jemand, der als Kommissar des Department of Consumer and Worker Protection tätig war, bin ich fest davon überzeugt, dass New York City unbedingt eine führende Rolle spielen sollte“, sagte sie.

Sie beschrieb die Gesetzentwürfe als Fallstudie aus einem Kurs an der Columbia University, „When Cities Take the Lead“, der untersuchte, was Städte tun sollten, „wenn die Bundesregierung dereguliert oder nicht handelt“.

„Dies ist vielleicht eines der größten Beispiele dafür, dass ein Produkt wie KI kaum reguliert wird“, sagte Menin. „In New York City regulieren wir allerlei Produkte und Dienstleistungen, von Friseursalons bis Nagelstudios, und doch haben wir bei KI eine Situation, in der es kaum Regulierung gibt.“

Eine dünnbrettförmige föderale Bilanz

Die föderale Bilanz, gegen die Menin ankämpft, ist lang und weitgehend leer. Der erste föderale KI-Gesetzentwurf, der FUTURE of AI Act, wurde 2017 eingereicht und versandete. 2023 bat OpenAI-CEO Sam Altman den Senat, seine Branche zu regulieren; der damalige Mehrheitsführer Chuck Schumer reagierte mit neun Hinterzimmer-Foren, die eine Roadmap, aber kein Gesetz hervorbrachten. Bis 2025 erklärte Altman den Senatoren, dass eine staatliche Freigabepflicht für KI eine Katastrophe wäre.

Als Washington schließlich handelte, tat es dies, um andere am Handeln zu hindern: Der Senat strich Senator Ted Cruzs vorgeschlagenes 10-jähriges Verbot staatlicher KI-Gesetze mit 99 zu 1 Stimmen im Juli 2025, und Präsident Trump richtete daraufhin eine Task Force des Justizministeriums ein, um Staaten wegen ihrer KI-Gesetze zu verklagen. Das erste Ziel, Colorado, kastrierte sein eigenes Gesetz fünf Wochen nach Klageerhebung.

Selbst nachdem der Anthropic-Forscher Jacob Coxon diesen Monat mit der Warnung zurücktrat, KI-Unternehmen spielten mit Menschenleben, bestand die föderale Reaktion aus Briefen und Untersuchungen. Der jüngste Versuch ist ein überparteilicher Sicherheitsgesetzentwurf von Cruz, Senatorin Amy Klobuchar und Mehrheitsführer John Thune, der voraussichtlich die meisten Landesgesetze außer Kraft setzen würde, darunter New Yorks aktuellen RAISE Act. Wie dieser Vorsprungskampf letztlich ausgeht, wird bestimmen, wie viel des Ratspakets tatsächlich in Kraft treten kann.

In einem Juli-Beitrag argumentierte OpenAI, Staaten könnten die Lücke schließen, indem sie einander entsprechende Gesetze anstelle eines föderalen erlassen. Doch gerade in New York City – und nicht in den meisten Staaten, die nun KI-Gesetze schreiben – haben diese Unternehmenurzeln geschlagen. Google beschäftigt in der Stadt mehr als 14.000 Mitarbeiter, und Meta mietet 1,2 Millionen Quadratfuß im 50 Hudson Yards. Anthropic mietete in diesem Sommer ein entire 16-stöckiges Gebäude in der 330 Hudson Street und erwartet bis Jahresende mehr als 1.000 Mitarbeiter in der Stadt, während OpenAI 2024 90.000 Quadratfuß im Puck Building übernahm.

„Diese Unternehmen haben Büros in New York. Das Produkt wird in New York verkauft, und wir sind der Ansicht, dass dies in unsere Zuständigkeit fällt“, sagte Menin.

Was die Gesetze vorsehen

Der weitreichendste Gesetzentwurf würde jedem Unternehmen verbieten, in der Stadt ein KI-System zu verkaufen oder einzusetzen, ohne dass ein externer Prüfer es hinsichtlich Datenqualität, Bias, Privatsphäre und Sicherheit nach Standards des Office of Cyber Command der Stadt überprüft hat. Jedes System müsste zudem über einen Kill-Switch verfügen – eine menschliche Übersteuerungsmöglichkeit, die es abschalten kann. Da diese Anforderung für jedes Unternehmen gilt, das in der Stadt KI verkauft oder einsetzt, würde sie weit über die großen Labore hinausreichen.

„Das ist keine Branche, die sich selbst regulieren sollte“, sagte Menin. „Das Problem ist gerade, dass das im Grunde der Standard ist.“ Ein Bußgeld von 25.000 US-Dollar würde je Fall gelten, was laut Menin bedeutet, dass „bei einem Schwarm von Agenten die Strafe pro Agent anfällt“.

Ein separates Gesetz würde Whistleblowern einen Anteil an den von regelbrechenden KI-Unternehmen eingezogenen Bußgeldern gewähren, was der Rat als die erste Regelung dieser Art in den USA betrachtet. Eine Begleitmaßnahme würde städtische Beschäftigte und Auftragnehmer schützen, die KI-Bedrohungen für die öffentliche Sicherheit melden.

Ein dritter Entwurf würde es Menschen ermöglichen, KI-Unternehmen für Schäden zu verklagen, die durch Dritte entstehen, die Sicherheitskontrollen umgehen – vorausgesetzt, der Schaden war vorhersehbar und dem Unternehmen fehlten angemessene Schutzvorkehrungen. Die Gerichte haben noch nicht geklärt, ob Section 230, das föderale Gesetz, das Plattformen vor Haftung für Nutzerinhalte schützt, KI-generierte Inhalte abdeckt, sodass der Entwurf auch das föderale Recht auf die Probe stellen könnte.

Weitere Gesetze würden von städtischen Auftragnehmern verlangen, KI-Sicherheitsvorfälle innerhalb von 24 Stunden zu melden, falsche oder irreführende Sicherheitsbehauptungen verbieten, Datenschutzregeln für Chatbots nach dem People-First Chatbot Bill des Electronic Privacy Information Center festlegen und von der Stadt verlangen, sich auf KI-gesteuerte Angriffe auf ihre Systeme vorzubereiten. Der Rat kündigte weitere Gesetze an, darunter ein Verbot täuschender Deepfakes und eine Untersuchung, wie algorithmische Werkzeuge Arbeitsaufgaben verändern. Die Anhörung am 5. Oktober wird der erste öffentliche Prüfstein dafür sein, wie weit diese Bemühungen reichen.

„Unsere Gesetze behandeln alle möglichen Wege, wie wir das Sicherheitsproblem angehen können“, sagte Menin. „Wir wollen weiterhin ein Zentrum der Innovation bleiben. Der Gedanke, dass Regulierung das in irgendeiner Weise behindert, davon bin ich nicht überzeugt.“

Diese Geschichte erschien ursprünglich auf Fortune.