Anthropic-Forscher sieht eine Wahrscheinlichkeit von mehr als 10 %, dass KI innerhalb eines Jahrzehnts alle Menschen tötet
Wichtige Erkenntnisse
- •Evan Hubinger schätzt die Wahrscheinlichkeit, dass KI innerhalb des kommenden Jahrzehnts alle Menschen tötet, auf mehr als 10 %.
- •Hubinger zufolge geht die unmittelbare Gefahr nicht von aktuellen Modellen aus, sondern von einer durch rekursive Selbstverbesserung entstehenden Superintelligenz.
- •Hubinger räumte ein, dass Anthropic noch keinen Plan zur Lösung des Alignment-Problems einer Superintelligenz und keinen klaren Weg dorthin habe.
- •Der ehemalige Forscher Jacob Coxon trat bei Anthropic zurück, nachdem er dem Unternehmen und OpenAI vorgeworfen hatte, die Entwicklung sich selbst verbessernder KI-Systeme rücksichtslos voranzutreiben.
- •Coxon sagte, ein vorübergehendes Verbot zur Verbesserung von Modellfähigkeiten könnte nötig sein, um einen gefährlichen globalen Wettlauf zu verhindern.
Ein leitender Sicherheitsforscher von Anthropic sagte am Dienstag, dass die Wahrscheinlichkeit, dass künstliche Intelligenz innerhalb des „kommenden Jahrzehnts“ „alle Menschen tötet“, bei mehr als 10 % liege. Er reagierte damit auf einen ehemaligen Mitarbeiter, der nach dem Vorwurf eines verantwortungslosen Vorgehens aus dem Unternehmen ausgeschieden war.
Der ehemalige Anthropic- und OpenAI-Forscher Jacob Coxon schrieb am Sonntag in einem ausführlichen Rücktritts-Thread auf X, dass „die Menschen, die KI entwickeln, ernsthaft glauben, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte“.
„Ich bin heute bei Anthropic zurückgetreten. In den vergangenen drei Jahren habe ich sowohl bei OpenAI als auch bei Anthropic an Pretraining-Forschung gearbeitet. Keines der beiden Unternehmen handelt verantwortungsvoll. Sie steuern direkt auf eine sich selbst verbessernde Superintelligenz zu und setzen dabei unser Leben aufs Spiel“, schrieb Coxon.
Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic, antwortete in einem zitierten Beitrag auf Coxons Thread. Hubinger sagte, Coxons Einschätzung sei zutreffend, fügte jedoch Einschränkungen hinsichtlich der Quelle und des Zeitpunkts des Risikos hinzu.
„Jacob hat hier recht – wir glauben tatsächlich ernsthaft, dass KI alle Menschen töten könnte!“, schrieb Hubinger. „Persönlich schätze ich die Wahrscheinlichkeit innerhalb des kommenden Jahrzehnts auf >10 %. Ich glaube, dass Anthropic sein Bestes versucht, aber wir haben noch keinen Plan, um das Alignment-Problem einer Superintelligenz zu lösen, und sind auch nicht eindeutig auf dem Weg dorthin.“
Hubinger sagte, das potenziell tödliche Risiko gehe nicht von aktuellen KI-Modellen aus. „Um das klarzustellen: Wie wir in unserem jüngsten Risk Report sagen, halte ich das Risiko durch aktuelle Modelle für gering“, schrieb er. „Worüber ich mir Sorgen mache, ist eine Superintelligenz, die durch rekursive Selbstverbesserung entsteht – wie wir bereits gesagt haben, geschieht dies schneller, als wir gedacht hatten.“
Selbstverbesserung bezeichnet die Fähigkeit eines KI-Modells, seinen eigenen Quellcode oder seine Trainingsmethoden kontinuierlich zu optimieren. Coxon nannte die Forschung zu dieser Fähigkeit ausdrücklich als einen Hauptgrund für seinen Rücktritt.
„Schon bald wird es sich um übermenschliche Systeme handeln, die alles hacken, jedes Fachgebiet über Nacht revolutionieren sowie echte Macht und Ressourcen erlangen können. Wir alle haben den Fortschritt in jedem dieser Bereiche miterlebt, und dieser Fortschritt verlangsamt sich nicht“, schrieb Coxon in seinem X-Thread.
Coxon sagte, die Wissenschaftler von Anthropic verstünden die Risiken ihrer Arbeit, entwickelten die Technologie aber dennoch weiter, weil sie befürchteten, ein weniger verantwortungsvolles Unternehmen könnte diese potenziell verheerenden Fähigkeiten zuerst freischalten.
„Bei Anthropic sind die Konsequenzen gut verstanden, aber das Unternehmen steckt in einem Wettlauf, als Erster ans Ziel zu kommen – man glaubt, dass niemand sonst verantwortungsvoll handeln wird, und deshalb müsse man es trotz des Risikos selbst tun“, fügte Coxon hinzu.
Um das von ihm beschriebene absolute Desaster zu verhindern, schlug Coxon vor, dass die Welt möglicherweise ein vorübergehendes Verbot zur Verbesserung von Modellfähigkeiten benötige.
„Ich habe nicht das Gefühl, dass wir auf dem richtigen Weg sind, um einen globalen Wettlauf zu verhindern. Dafür könnten kostspielige Maßnahmen wie ein vorübergehendes Verbot zur Verbesserung der Modellfähigkeiten erforderlich sein“, schrieb er.
Coxon forderte KI-Forscher und -Entwickler weltweit schließlich auf, die Konsequenzen ihrer Arbeit zu bedenken und verantwortungsvoller zu handeln.
„Wenn Sie in einem Forschungslabor arbeiten, fordere ich Sie auf, darüber nachzudenken, wie sich die kommenden Jahre tatsächlich anfühlen werden. Wollen Sie einen RL-Lauf mit Superintelligenz starten, ohne ein gründliches Verständnis ihres Verstands zu haben? Sollten Sie den Kopf einziehen, weil ‚es ohnehin passiert‘ – oder diesen Moment nutzen, um andere Bedingungen zu fordern?“, schloss sein X-Thread.
FOX Business bat Coxon, Hubinger, Anthropic und OpenAI um weitere Stellungnahmen.
