Anthropic hat einen weiteren Sicherheitsforscher verloren, während innerhalb der Branche die Besorgnis über das Tempo der Entwicklung von Frontier-Modellen und die Risiken immer leistungsfähigerer Systeme wächst.

Joe Tenton erklärte, dass er Anthropic vor zwei Wochen verlassen habe und zu METR wechseln werde, einer unabhängigen Gruppe, die Risiken in fortgeschrittenen KI-Systemen untersucht. Tenton hatte vorgehabt, seine Entscheidung später zu erläutern, sagte jedoch, dass Jacobs Rücktritt in dieser Woche ihn dazu veranlasst habe, früher darüber zu sprechen.

„Ich hatte vor, irgendwann ausführlicher über diese Entscheidung zu schreiben, aber Jacobs Rücktritt in dieser Woche hat mich dazu gebracht, jetzt mehr zu sagen“, schrieb Tenton.

In einem Beitrag zu seinem Wechsel erklärte Tenton, dass große KI-Labore ein Maß an Gefahr schaffen, wie es die Gesellschaft noch nie erlebt habe. Seiner Ansicht nach verbesserten sich die Fähigkeiten von KI in einem extremen Tempo, während die Unternehmen versuchten, die Entwicklung noch weiter zu beschleunigen.

Das erklärte Ziel vieler Labore bestehe darin, Systeme zu entwickeln, die ihre eigene KI-Forschung verbessern und letztlich „Superintelligenz“ erreichen können. Tenton warnte, dass der technologische Fortschritt bei einem Erfolg dieser Bemühungen die menschliche Kontrolle überschreiten könnte.

Tenton warnt, dass KI-Labore auf Systeme zusteuern, die Menschen möglicherweise nicht kontrollieren können

Tenton erklärte, dass Menschen innerhalb der nächsten Jahre möglicherweise mit KI-Agenten leben könnten, die leistungsfähiger als jeder Mensch seien. Er warnte außerdem, dass solche Systeme Ziele entwickeln könnten, die sich von denen der Menschen unterscheiden, die sie überwachen. Wenn ihre Fähigkeiten zu stark würden, um sie einzuschränken, könnten die Folgen verheerend sein, sagte er.

„Die Menschheit könnte diesen Übergang möglicherweise nicht überleben“, schrieb Tenton.

Der Wettbewerb zwischen den führenden Laboren verschärfe das Problem, sagte er. Jedes Labor, das seine Entwicklung verlangsame, riskiere, gegenüber einem anderen zurückzufallen. Dadurch entstehe der Druck, weniger für Sicherheit auszugeben, als möglicherweise erforderlich sei.

Tenton verwies auf mehrere jüngste Vorfälle. Seinen Angaben zufolge waren mehrere hundert OpenAI-Agenten von einem Hack betroffen, der irgendwie mit Hugging Face zusammenhing. Außerdem sollen Anthropic-Modelle online Social Engineering gegen Menschen betrieben haben.

Anthropic habe laut Tenton keinen Vorfall erlebt, der so schwerwiegend gewesen sei wie der im Zusammenhang mit Hugging Face, wobei er dies teilweise dem Glück zuschrieb. Wenn der Fortschritt der KI in seinem derzeitigen hohen Tempo anhalte, seien weitere gefährlichere Vorfälle zu erwarten, sagte er.

Tenton prognostizierte, dass die Menschheit innerhalb der nächsten Jahre möglicherweise nicht mehr in der Lage sein werde, die in diesem Zeitraum entwickelten KI-Systeme zu kontrollieren.

Er beschrieb außerdem das Dilemma, vor dem Sicherheitsingenieure in führenden Unternehmen stehen. Ein Rücktritt könne dazu führen, dass weniger vorsichtige Personen ihre Position übernähmen, während ein Verbleib im Unternehmen bedeuten könne, weiter an einem System zu arbeiten, das immensen Schaden anrichten könne.

Tenton erklärte, dass viele ehemalige Kollegen bei Anthropic Angst vor dem hätten, was sie entwickelten. Er nannte Evan Hubinger, der sein Vorgesetzter war, und sagte, Hubinger habe die Wahrscheinlichkeit, dass KI alle Menschen töte, auf über 10 % geschätzt. Tenton fügte hinzu, dass Hubinger seit fast einem Jahrzehnt an diesen Fragen arbeite, also bereits bevor große Sprachmodelle zu einem bedeutenden Geschäft wurden.

Die CEOs von Anthropic, OpenAI und Google DeepMind, das zu Alphabet (NASDAQ: GOOGL, GOOG) gehört, haben ebenfalls eine Erklärung unterstützt, in der das Risiko eines durch KI verursachten Aussterbens als globale Priorität bezeichnet wird. Tenton sagte, dass diese Bedenken innerhalb der Unternehmen selbst weit verbreitet seien. Die Menschen entschieden sich dafür, diese Technologie zu entwickeln, und könnten einen anderen Weg wählen, fügte er hinzu.

Tenton fordert unabhängige KI-Kontrollen, während Trump den Wettbewerb mit China betont

Tenton erklärte, politische Entscheidungsträger sollten erwägen, das Tempo der Entwicklung von KI-Fähigkeiten zu steuern, anstatt den Unternehmen eine ungebremste Beschleunigung zu erlauben.

„Eine Frage ist, ob wir das Tempo des Fortschritts bei den Fähigkeiten aktiv steuern sollten und, falls ja, in welchem Umfang. Ich denke, selbst das Beibehalten des heutigen Tempos des KI-Fortschritts könnte ein Erfolg sein – statt des deutlich höheren Tempos, das die Unternehmen anstreben“, sagte er.

Als wesentliche Hindernisse nannte er politische Unterstützung und rechtlichen Schutz. Unternehmen, die sich gemeinsam auf eine Verlangsamung der Entwicklung verständigten, könnten einer kartellrechtlichen Prüfung ausgesetzt sein, sagte Tenton. Daher sei eine rechtliche Absicherung erforderlich, wenn politische Entscheidungsträger konkurrierende Labore dazu bewegen wollten, sich selbst zu beschränken.

Er äußerte außerdem Zweifel daran, dass Regierungen handeln werden, solange die Entwicklung führender KI-Systeme für die Öffentlichkeit weitgehend verborgen bleibt. Ein Labor könnte einen plötzlichen Sprung der Intelligenz erleben oder die Kontrolle über ein System verlieren, ohne dass Außenstehende davon erfuhren, warnte er.

Tenton sagte, seine neue Aufgabe bei METR werde sich auf unabhängige Tests konzentrieren. Er wolle, dass externe Kontrollen ausreichend verbreitet würden, um die Anreize der Unternehmen zu beeinflussen. Außerdem forderte er strengere Offenlegungspflichten, darunter Angaben zu Fortschritten bei KI-Fähigkeiten, Schritten in Richtung rekursiver Verbesserung, Unfällen und Beinaheunfällen.

US-Präsident Donald Trump hat Warnungen vor einem Aussterben durch KI zurückgewiesen. Auf die Frage, ob er besorgt sei, dass KI die Menschheit auslöschen könnte, antwortete Trump: „Nein, das bin ich nicht.“

Trump sagte, seine Sorge gelte dem Sieg im internationalen KI-Wettlauf.

„Ich bin besorgt, dass wir in eine sehr schlechte Lage geraten werden, wenn wir den KI-Wettlauf nicht gewinnen“, sagte er am Donnerstag gegenüber Reportern. „Wir liegen derzeit mit einem ziemlich deutlichen Abstand vor China, ich würde sagen ein Jahr, was bekanntlich als viel gilt.“

Die Vereinigten Staaten und China konkurrieren um die Führung im Bereich KI, während chinesische Modelle leistungsfähiger werden und weltweit Nutzer gewinnen. Trump äußerte sich, nachdem Forscher aus führenden Laboren, darunter Anthropic und OpenAI, ihre öffentlichen Warnungen vor dem Tempo der KI-Entwicklung verstärkt hatten.

Tentons Erklärung zu seinem Abschied ist unter Warum ich An­thropics Sicherheitsteam verlassen habe verfügbar.