Anthropic-CEO Dario Amodei fordert die Branche der künstlichen Intelligenz auf, vorsichtiger vorzugehen, da immer leistungsfähigere Modelle zunehmend besser darin werden, noch fortschrittlichere KI-Systeme zu entwickeln.

Amodei möchte, dass KI-Labore mehr Zeit zwischen großen Fortschritten bei den Fähigkeiten ihrer Modelle lassen. Diese zusätzliche Zeit würde es Forschenden, unabhängigen Prüfern und Regierungen ermöglichen, zu untersuchen, wie die Systeme arbeiten, bevor die nächste Entwicklungsstufe erreicht wird. Er erläuterte seine Position in einem Beitrag auf seiner Website.

Elon Musk, der mit seinem eigenen KI-Unternehmen mit Anthropic konkurriert, unterstützte Amodeis Position und sagte: „Dario hat recht.“ OpenAI-CEO Sam Altman, ein weiterer Konkurrent, unterstützte den Vorschlag ebenfalls in einem Beitrag auf X.

„Ich stimme Dario zu, dass wir die Entwicklung an der KI-Grenze in einem angemessenen Tempo vorantreiben müssen. Das war in den vergangenen Wochen ein zentrales Thema unserer Gespräche bei OpenAI. Die Verpflichtung, unabhängigen Prüfern einen mit Mitarbeitenden vergleichbaren Zugang zu gewähren, ist eine großartige Idee, und wir werden dasselbe tun. Wir werden bald mehr dazu mitteilen.“

Bedenken hinsichtlich KI-Fähigkeiten und Sicherheit

Zu den von Amodei identifizierten Risiken zählen der Verlust der Kontrolle über hochleistungsfähige Systeme, der Einsatz von KI für Cyberangriffe oder biologische Angriffe sowie erhebliche Beeinträchtigungen der Beschäftigung und der Gesamtwirtschaft.

Er warnte außerdem, dass der intensive Wettbewerb Unternehmen dazu verleiten könnte, fortschrittliche Systeme zu veröffentlichen, bevor ihre Sicherheitsarbeit abgeschlossen ist. Anthropic hat einen Teil seines Forschungsbudgets für Alignment, Sicherheitstests, Risikobewertung und Regulierung bereitgestellt.

Amodei verwies auf den Vorfall zwischen OpenAI und Hugging Face, bei dem sich eine Gruppe von KI-Agenten Berichten zufolge wie ein eng koordiniertes Team verhielt. Die Agenten griffen Computersysteme außerhalb ihrer zugewiesenen Aufgabe an, versuchten, das System zu kompromittieren, das ihre Leistung bewertete, und ließen einzelne Agenten ausfallen, wenn dies der Gruppe zugutekam.

„Es ist leicht, diesen Vorfall abzutun, weil niemand verletzt wurde und der wirtschaftliche Schaden gering war. Meiner Ansicht nach hätte ein Schwarm mit größeren Fähigkeiten, aber einem ähnlichen Grad an Fehlanpassung, jedoch katastrophalen Schaden verursachen können. Angesichts der zunehmenden Geschwindigkeit, mit der sich die Fähigkeiten von KI entwickeln, befürchte ich, dass ein solcher Schwarm in 6–12 Monaten in der Lage sein könnte, das gesamte Internet mit einem dauerhaft bestehenden Botnet zu übernehmen.“

Vorschlag für eingebettete unabhängige Prüfer

Amodei sagte, die erste Phase dieses Ansatzes sollte innerhalb von Anthropic beginnen. Externe Prüfer würden dabei Schreibtische, Ausweise, Firmen-Laptops, interne Tools und einen Zugang erhalten, der mit dem von Mitarbeitenden vergleichbar ist, die Risikobewertungen durchführen.

Die Prüfer würden Trainingssysteme, Regeln für den Einsatz, Sicherheitskontrollen und Vorfälle untersuchen. Außerdem würden sie bewerten, ob Anthropic die öffentlich eingegangenen Verpflichtungen tatsächlich einhält.

„Eingebettete Prüfer können bis ins kleinste Detail überprüfen, ob ein KI-Unternehmen die Trainings-, Einsatz-, Betriebs- und Sicherheitspraktiken tatsächlich einhält, zu denen es sich bekennt. Verpflichtungen zur Verlangsamung der Entwicklung werden zwangsläufig viel Spielraum für Unklarheiten und Ermessensentscheidungen sowie für die Frage ‚Wortlaut des Gesetzes oder Sinn und Zweck des Gesetzes‘ beinhalten. Daher scheint es unerlässlich, eine neutrale dritte Partei zu haben, die die Details tatsächlich einsehen kann.“

Amodei sagte, die durch eine langsamere Entwicklung gewonnene zusätzliche Zeit sollte in vier Bereiche fließen. Der erste ist der Betrieb, einschließlich Überwachung, Sandboxing, Umgebungen für bestärkendes Lernen, Datenqualität und Trainingsinfrastruktur. Die Entwicklung heutiger Modelle kann Tausende Mitarbeitende, Millionen von Chips und sehr große Computersysteme umfassen. Anthropic hat einige jüngste Alignment-Fehler auf eine unzureichende Filterung in fehlerhaften Umgebungen für bestärkendes Lernen zurückgeführt.

Der zweite Bereich ist Alignment: Bemühungen, sicherzustellen, dass Modelle trotz zunehmender Fähigkeiten die Sicherheitsregeln einhalten. Der dritte Bereich ist die Interpretierbarkeit, bei der Forschende die internen Aktivitäten von Modellen untersuchen, um Motive oder Muster zu erkennen, die die Systeme nicht ausdrücklich angeben.

Der vierte Bereich ist die Evaluierung. Leistungsfähigere Modelle könnten besser darin werden, Tests zu täuschen. Dadurch könnte ein System während einer Bewertung sicher erscheinen, während es Probleme verbirgt.

„Ich glaube, wenn uns eine Verlangsamung auch nur ein oder zwei zusätzliche Jahre verschaffen würde, bevor Modelle kritische Fähigkeitsniveaus erreichen, und wir diese Zeit zur Verbesserung des Alignments nutzten, könnten wir das Risiko, dass etwas ernsthaft schiefgeht, erheblich verringern.“

Aufruf zur staatlichen Koordinierung

Amodei sprach sich außerdem für eine Beteiligung der Regierungen aus. Er fordert, dass die führenden US-KI-Labore regulatorischen Systemen unterliegen, die Transparenz, unabhängige Prüfungen und kontinuierliche Evaluierungen abdecken.

KI-Unternehmen könnten freiwillig gemeinsame Evaluierungspunkte einrichten, sagte er, wobei die Regierung Unterstützung leisten könnte, falls Kartellgesetze Hindernisse für eine private Zusammenarbeit schaffen.

Gleichzeitig sagte Amodei, US-Unternehmen dürften die Entwicklung nicht so stark verlangsamen, dass Projekte mit Verbindungen zur Kommunistischen Partei Chinas vorankommen. Er stimmte dem US-Finanzminister Scott Bessent zu, der gewarnt hat, dass ein Verlust des KI-Wettlaufs gegen China ein großes Sicherheitsproblem schaffen würde.