OpenAI teilte seinen Mitarbeitern in dieser Woche mit, dass das Unternehmen erwägen würde, die Arbeit in den fortschrittlichsten Bereichen der künstlichen Intelligenz zu verlangsamen. CEO Sam Altman weitete den Vorschlag auf konkurrierende Labore wie Anthropic aus. Das Unternehmen hatte zuvor wachsende KI-Risiken eingeräumt und berichtet, dass Forscher mit Verbindungen zu staatlichen Institutionen versucht hätten, seine Claude-Modelle für die Erforschung biologischer Waffen einzusetzen.

OpenAI erklärte, bereits einige interne Trainingsläufe pausiert und Teile der Modellentwicklung wegen Sicherheitsbedenken verlangsamt zu haben. Die aufeinanderfolgenden Enthüllungen haben die Debatte darüber verschärft, ob sich die KI-Branche zu schnell entwickelt – insbesondere, da beide Unternehmen weiterhin mögliche Börsengänge in Aussicht stellen.

Warum will Altman die KI-Entwicklung verlangsamen?

Bei einer unternehmensweiten Versammlung sagte Altman den OpenAI-Mitarbeitern, dass das Unternehmen und andere willige Labore die Veröffentlichung sogenannter Frontier-Modelle verlangsamen könnten. Laut von Bloomberg zitierten Quellen räumte er ein, dass eine solche Vereinbarung freiwillig wäre und nicht jedes Unternehmen daran teilnehmen würde. Dieser freiwillige Ansatz steht im Gegensatz zu OpenAIs späterer Forderung nach verbindlichen, fähigkeitsbasierten Regeln. Damit werden die Koordination zwischen konkurrierenden Laboren und der Umfang möglicher staatlicher Vorgaben zu zentralen Streitpunkten der Debatte.

Skepsis gegenüber freiwilligen Pausen hat historische Vorbilder. Im März 2023 unterzeichneten Elon Musk, Steve Wozniak und mehr als 1.000 weitere Personen einen offenen Brief, in dem sie eine sechsmonatige Unterbrechung der Arbeit an fortgeschrittener KI forderten. Medien berichteten damals, dass die beteiligten Labore das gemeinsam vorgeschlagene Moratorium letztlich nicht umsetzten. Der Brief ist über Axios verfügbar.

OpenAIs Chefwissenschaftler Jakub Pachocki sprach sich in einem Beitrag vom 6. September ähnlich aus. Er forderte KI-Unternehmen auf, sich zu koordinieren, „um die künftige Entwicklung bei Bedarf zu verlangsamen“. Pachocki erklärte, er hoffe, dass freiwillige Verlangsamungen „zur gängigen Praxis werden, bis gemeinsame Sicherheitsstandards etabliert sind“.

Altman sagte im Juli, er habe Vertreter des Weißen Hauses über die Notwendigkeit informiert, die KI-Entwicklung zu drosseln. Gemeinsam mit Anthropic-CEO Dario Amodei hatte er zuvor außerdem eine einzeilige Erklärung unterzeichnet, in der KI als ein Risiko für das Aussterben der Menschheit auf gesellschaftlicher Ebene bezeichnet wird. Die Erklärung ist bei AIstatement.com veröffentlicht.

Können KI-Modelle die Forschung an biologischen Waffen unterstützen?

KI-Modelle sind inzwischen so weit fortgeschritten, dass sie möglicherweise die Forschung an biologischen Waffen unterstützen können. Anfang dieser Woche erklärte OpenAI, seine Modelle hätten das mathematische Navier-Stokes-Problem gelöst, wobei die Aussage unter umstrittenen Bedingungen getroffen wurde.

Anthropic verschärfte die Debatte mit einem am 10. September veröffentlichten Bericht zur Bedrohungslage im Umfang von 154 Seiten. Darin werden fünf Fälle beschrieben, in denen Forscher versucht hätten, die Fähigkeiten von Claude für Arbeiten an biologischen Waffen zu nutzen. Anthropic erklärte, die Versuche seien aus „nicht unterstützten Regionen“ erfolgt und hätten darauf abgezielt, Standortbeschränkungen zu umgehen und den Zweck der Aktivitäten zu verschleiern. Das Unternehmen teilte mit, die betreffenden Konten entfernt zu haben, nannte jedoch weder die beteiligten Länder noch Institutionen. Der Abschnitt des Berichts über den Missbrauch für biologische Zwecke ist auf der Website von Anthropic verfügbar.

Wachsende Sorge unter KI-Forschern

Die Berichte erschienen inmitten einer Reihe öffentlicher Warnungen von Personen, die in großen KI-Laboren arbeiten oder dort früher tätig waren. Am 8. September kündigte der Forscher Jacob Coxon und warf OpenAI und Anthropic vor, „mit unserem Leben zu spielen“. Er sagte, einige Kollegen seien der Ansicht, die Technologie könne „uns alle bis zum Ende des Jahrzehnts töten“, und warnte vor dem Aussterben der Menschheit bis 2030. Sein Beitrag erhielt mehr als 150 Millionen Aufrufe.

Am 10. September äußerten ehemalige Mitarbeiter von Anthropic und Googles DeepMind ähnliche Bedenken und forderten mehr Transparenz. Eine Ende Juli gestartete Petition zur Einrichtung eines Mechanismus für eine Verlangsamung der KI-Entwicklung erhielt die Unterschriften von mehr als 1.000 Beschäftigten großer KI-Unternehmen.

OpenAI drängt den US-Kongress nun auf verbindliche, fähigkeitsbasierte Sicherheitsregeln für Tests, unabhängige Prüfungen, Cybersicherheit und die Meldung von Zwischenfällen. „Die Aussicht auf eine durch KI beschleunigte KI-Entwicklung verlangt mehr als freiwillige Zusagen“, schrieb Chief Global Affairs Officer Chris Lehane. Die Vorschläge richten den Fokus darauf, wie fortgeschrittene Systeme getestet und überwacht werden sollen – und nicht nur darauf, ob Unternehmen einer Entwicklungspause zustimmen.

Kalifornien handelte zuerst. Gouverneur Gavin Newsom unterzeichnete am Mittwoch SB 813 und AB 1405. Ein ergänzender Gesetzentwurf, AB 1864, soll vor biologischen Bedrohungen schützen, die durch KI ermöglicht werden.

In Washington brachte Senator Bernie Sanders einen Gesetzentwurf ein, der die Entwicklung fortgeschrittener KI aussetzen und künstliche Superintelligenz verbieten würde. Gegenüber der BBC sagte er, das Ignorieren der Warnungen von Wissenschaftlern würde jemanden zu „einem Idioten“ machen.

Präsident Donald Trump stellte sich gegen diesen Ansatz. Er sagte am Donnerstag, er sei besorgt, dass wir „in eine sehr schlechte Lage geraten werden, wenn wir die KI nicht gewinnen“.

Ursprünglich veröffentlicht von Cryptopolitan.