Anthropic wirbt im Kongress für KI-Sicherheitsgesetz mit 1-Milliarden-Dollar-Schadensschwelle
Wichtige Erkenntnisse
- •Anthropics Gesetzentwurf würde der US-Regierung ermöglichen, ein KI-Modell zu blockieren, das eine klare, unmittelbare Gefahr von mehr als 50 Todesopfern oder 1 Milliarde US-Dollar an finanziellen Schäden birgt – im Zusammenhang mit Cyberangriffen, Biowaffen oder umgangenen Sicherheitsbeschränkungen.
- •Der Vorschlag schreibt routinemäßige Tests von Laboren und Modellen durch beim Handelsministerium registrierte externe Prüfer vor; jedes unmittelbar drohende benannte Risiko muss innerhalb von 72 Stunden nach Feststellung den Bundesbehörden gemeldet werden.
- •Nur eine Bundesrichterin im District of Columbia könnte die Aussetzung eines Modells anordnen, da die Bestimmung allen anderen US-Ministerien, Behörden und Amtsträgern verbietet, Entwicklung, Einsatz oder interne Nutzung eines Modells zu stoppen.
- •Die FTC hat OpenAI und Anthropic zivilrechtliche Vorladungen zu Sicherheitsvorfällen zugestellt und plant, ihre Vorladungsbefugnisse auf Dritte auszuweiten, was öffentliche Aussagen von Führungskräften ermöglichen könnte.
- •Eine aktuelle AP-NORC-Umfrage zeigt, dass fast zwei Drittel der erwachsenen US-Bürger die KI-Entwicklung für zu schnell halten und acht von zehn staatlichen Bemühungen zur Kontrolle der Technologie Bedeutung beimessen.

Wie drei mit den vertraulichen Gesprächen vertraute Personen berichten, hat Anthropic Gesetzgebern auf dem Capitol Hill vertraulich einen Gesetzentwurf zur Sicherheit von Grenz-KI vorgelegt. Der vorgeschlagene Entwurf würde der US-Regierung ermöglichen, ein KI-Modell zu blockieren, wenn von diesem eine klare, unmittelbare Gefahr von mehr als 50 Todesopfern oder 1 Milliarde US-Dollar an finanziellen Schäden ausgeht.
Nach dem Entwurf muss das betreffende Risiko einen Cyberangriff, die Entwicklung oder den Einsatz biologischer Waffen oder ein Modell betreffen, das die Sicherheitsbeschränkungen seines Entwicklers erfolgreich umgangen hat.
Dem Vorschlag gehen mehrere Monate voraus, in denen führende KI-Entwickler mehrere Fälle einräumten, in denen KI-Agenten in Online-Plattformen eindrangen oder deren Abwehrsysteme testeten. Keiner dieser frühen Vorfälle führte zu massiven Todesopfern oder katastrophalen finanziellen Verlusten.
Die vorgeschlagenen Beschränkungen würden stärker darauf abstellen, was fortschrittliche KI-Systeme in der realen Welt tatsächlich vermögen, statt sich allein auf die Sicherheitszusagen ihrer Entwickler zu verlassen. Da Modelle zunehmend in der Lage sind, Code zu schreiben, Software-Sicherheitslücken zu identifizieren und komplexe Aufgaben autonom auszuführen, sehen sich Regulierungsbehörden vor der Herausforderung zu bestimmen, wann die Fähigkeiten eines Systems die Schwelle zu einem unvertretbaren Risiko überschreiten.
Unabhängige Tests könnten helfen festzustellen, ob ein Modell Schutzmaßnahmen umgehen oder für schädliche Aktivitäten missbraucht werden kann, bevor es einer breiteren Öffentlichkeit zugänglich wird. Dennoch bleibt die Definition einer unmittelbaren Bedrohung schwierig, insbesondere weil dieselben Fähigkeiten, die Sicherheitsrisiken bergen, Forschern auch helfen können, Sicherheitslücken zu identifizieren und zu beheben.
Bundesrichterin könnte Aussetzung eines Modells anordnen
Zur Verteidigung des Gesetzes erklärte ein Sprecher von Anthropic, der Entwurf entspreche den Sicherheitsempfehlungen des im Juni veröffentlichten Advanced AI Framework des Unternehmens. In diesem Rahmenwerk wies das Unternehmen darauf hin, dass sein Claude Mythos Preview bereits Tausende schwerer Sicherheitslücken aufgedeckt habe, die alle gängigen Betriebssysteme und Webbrowser umfassten. Man betonte damals, dass diese Entwicklung zwangsläufig an Fahrt aufnehmen und ein wachsendes Risiko katastrophaler realer Schäden mit sich bringen werde.
Das Rahmenwerk plädierte zudem für einen ausgewogenen regulatorischen Ansatz, der staatliche Eingriffe erlaubt, ohne Innovation zu ersticken. Anthropic hielt fest, dass Regulierungsbehörden bei extremen Gefahren durch ein KIModell über die gesetzliche Befugnis verfügen müssen, es zu blockieren, oder hohe Geldstrafen zu verhängen, die am globalen Umsatz anknüpfen und sich bei Wiederholungstaten vervielfachen.
Bislang hat Anthropic kein konkretes Bundesgesetz im Kongress offen unterstützt, wohl aber mehrere KI-Sicherheitsgesetze auf Landesebene befürwortet, darunter zwei in Kalifornien wie SB 53. Das Unternehmen kündigte seine Unterstützung dieser im vergangenen Jahr verabschiedeten Maßnahme öffentlich an, die Unternehmen verpflichtet, Sicherheitsrahmenwerke zu erstellen und mitzuteilen, während sie an der Minderung großer Risiken arbeiten. SB 53 verpflichtet Unternehmen zudem, jeden schwerwiegenden Sicherheitsvorfall innerhalb von 15 Tagen dem Bundesstaat zu melden.
Nach Anthropics Vorschlag würden externe Prüfer, die beim Handelsministerium registriert sind, die Labore und Modelle des Unternehmens routinemäßig testen. Während Labore diese Prüfungen finanzieren dürfen, darf die Vergütung nicht von den Ergebnissen des Prüfers abhängen. Darüber hinaus müsste jede Feststellung eines „unmittelbar drohenden benannten Risikos“ den Bundesbehörden innerhalb von 72 Stunden nach Abschluss gemeldet werden. Falls verabschiedet, würde der Vorschlag Anthropics Bemühungen um durchsetzbare Sicherheitsregeln von den Landeshauptstädten auf die Bundesebene ausweiten.
Stellt das Handelsministerium fest, dass ein Modell ein Risiko darstellt, kann es eine Richterin um eine Blockierung der Freigabe bitten. Die Bestimmung verbietet jedoch allen anderen US-„Ministerien, Behörden oder Amtsträgern“, die Entwicklung, den Einsatz oder die interne Nutzung eines Modells zu stoppen. Dennoch behält eine Bundesrichterin im District of Columbia die Befugnis, eine solche Aussetzung anzuordnen.
FTC sendet Vorladungen an OpenAI und Anthropic
Die Federal Trade Commission hat am Mittwoch OpenAI und Anthropic zivilrechtliche Vorladungen zugestellt und Unterlagen zu Sicherheitsvorfällen angefordert, die zu einer wachsenden Krise für die Branche geworden sind. OpenAI reagiert auf die Vorladung mit den Worten: „As we improve our models and they increasingly help people in their day-to-day lives, safety remains a top priority. We will engage constructively with the FTC.“
Wie eine Quelle verriet, beabsichtigt die Behörde, ihre Vorladungsbefugnisse in naher Zukunft auf Dritte auszuweiten. Die Regulierungsbehörde könnte Führungskräfte von Anthropic und OpenAI zu einer öffentlichen Aussage zwingen, wodurch Gesetzgebern eine Plattform geboten wird, die Tech-Giganten zur Sicherheit herauszufordern, während die öffentliche Angst vor möglichen Folgen wächst.
Laut einer aktuellen Umfrage des Associated Press-NORC Center for Public Affairs Research halten fast zwei Drittel der erwachsenen US-Bürger die KI-Entwicklung für zu schnell. Acht von zehn Befragten betonten zudem die Bedeutung staatlicher Bemühungen, die Technologie unter menschlicher Kontrolle zu halten. Die Ergebnisse zeichnen die öffentliche Stimmung rund um sowohl die Untersuchung der FTC als auch Anthropics Vorstoß auf dem Capitol Hill nach.
Bislang lehnt Präsident Trump weiter Forderungen nach einem langsameren Tempo der KI-Entwicklung ab und verweist auf die Bedeutung der Technologie für die strategischen Interessen der USA. Er kündigte kürzlich eine „Super Intelligence Force“ an, um die Anstrengungen der Bundesregierung im Bereich KI zu bündeln und zugleich den Austausch mit Verbrauchern, Verbraucherschutzorganisationen und anderen Interessengruppen aufrechtzuerhalten. Wie Anthics Entwurf in diese Haltung passt, bleibt eine offene Frage.