NachrichtenMakroAnthropic warnt: Von KI entwickelte KI könnte Sicherheitskontrollen überholen und Märkte verschieben

Anthropic warnt: Von KI entwickelte KI könnte Sicherheitskontrollen überholen und Märkte verschieben

Autor: Cryptopolitan·

Wichtige Erkenntnisse

  • •Bis Mai 2026 erstellte Claude mehr als 80 % des Codes, den Ingenieure zu Anthropics Softwareprojekten beisteuerten, und ein typischer Ingenieur steuerte im zweiten Quartal 2026 täglich acht Mal mehr Code bei als 2024.
  • •Anthropics Messungen im August ergaben, dass Claude 26 % der KI-Forschungs- und Entwicklungsaufgaben leitete, gegenüber weniger als 1 % im Februar, wobei keine der gemessenen Arbeiten vollautonom war.
  • •Anthropics Bewertung vom 4. Juni warnte, dass KI-beschleunigte Entwicklung Sicherheitsprüfungen und regulatorische Aufsicht überholen könnte, noch bevor ein System Autonomie erreicht.
  • •Anthropic-CEO Dario Amodei forderte in einem September-Essay eine Verlangsamung der KI-Fähigkeitsverbesserungen und die Schaffung unabhängiger Evaluatoren, nachdem OpenAI am 16. September sechs Fälle besorgniserregenden Modellverhaltens offengelegt hatte.
  • •Private KI-Investitionen stiegen 2025 um 127,5 %, wobei die US-Investitionen das 23-Fache der chinesischen erreichten, und der konzentrierte Zugang zu Chips, Cloud-Infrastruktur und Daten könnte den Vorsprung führender Labors gegenüber kleineren Wettbewerbern vergrößern.
Anthropic warnt: Von KI entwickelte KI könnte Sicherheitskontrollen überholen und Märkte verschieben

Künstliche Intelligenz übernimmt einen wachsenden Anteil der Arbeit, die für den Bau leistungsfähigerer Modelle erforderlich ist. Anthropic sagt, dass Claude diesen Prozess bereits beschleunigt, obwohl das Modell seinen eigenen Nachfolger noch nicht erschaffen kann. In einer Bewertung vom 4. Juni warnte das Unternehmen, dass dieser Fortschritt das Risiko birgt, dass KI Sicherheitsprüfungen und regulatorische Aufsicht direkt überholt.

Wenn KI sich selbst erschafft – und was das noch nicht bedeutet

Claude hat die rekursive Selbstverbesserung noch nicht erreicht – den Punkt, an dem eine KI ihren eigenen Nachfolger ohne jegliches menschliches Zutun erschaffen und trainieren würde. Laut Anthropic hat bisher kein System diese Fähigkeit erreicht. Dieser Unterschied ist für die Aufsicht von Bedeutung, denn er bedeutet, dass die derzeit stattfindende Beschleunigung innerhalb menschlich überwachter Workflows abläuft, in dem Zeitfenster, bevor ein System der Autonomie nahekommt.

Auch ohne volle Autonomie übernimmt Claude inzwischen einen Großteil der Codierarbeit bei Anthropic. Bis Mai 2026 hatte das Modell mehr als 80 % des Codes erstellt, den Ingenieure zu den Softwareprojekten des Unternehmens beisteuerten. Im zweiten Quartal 2026 steuerte ein typischer Ingenieur täglich acht Mal mehr Code bei als 2024.

Diese Zahlen zeigen, wie stark die Code-Produktion gewachsen ist – nicht unbedingt jedoch, wie viel nützliche Arbeit dabei entsteht. Eine von METR zitierte Umfrage unter 349 technischen Fachkräften ergab eine mediane, selbst berichtete Steigerung des Wertes ihrer Arbeit um das 1,4- bis 2-Fache bei der Nutzung von KI-Tools.

26 % unter Claudes Leitung – nichts davon vollautonom

Claudes Rolle geht inzwischen weit über das Schreiben von Code hinaus. Anthropics Messungen im August ergaben, dass das Modell 26 % der KI-Forschungs- und Entwicklungsaufgaben leitete, gegenüber weniger als 1 % im Februar. Claude wirkte an mehr als 90 % dieser Arbeit mit oder leitete sie, doch Menschen blieben durchgehend eingebunden, und keine der gemessenen Arbeiten war vollautonom. Der Sprung von Februar bis August liefert Beobachtern zudem eine Basislinie: Künftige Messupdates bieten eine Möglichkeit zu verfolgen, ob KIs Anteil an der Forschungsarbeit weiter steigt.

Die beiden Forschungsansätze messen unterschiedliche Dinge. Anthropic erfasst Code-Generierung und Forschung mit Unterstützung von KI-Systemen, während METR erfasst, wie Fachkräfte die Zunahme des Wertes ihrer Arbeit wahrnehmen. Keine der beiden Studien zeigt, ob KI entscheiden kann, welche Forschungsprobleme überhaupt gelöst werden sollten.

Wie sich Beschleunigung ohne selbstverbesserndes Modell verstärken könnte

KI muss nicht vollautonom sein, um die Forschung zu beschleunigen. Laut einem Oktober-Bericht von RAND können KI-Agenten helfen, leistungsfähigere Modelle zu erstellen, ohne jemals eigene Nachfolger zu bauen. Ihr Zugriff auf sensible Modelle und Code stellt bereits ein Sicherheitsrisiko dar.

Ökonomen bei METR weisen darauf hin, dass Faktoren wie die Verfügbarkeit von Daten, Rechenleistung und die Fähigkeit, experimentelle Studien durchzuführen, Grenzen setzen könnten. Dieselben Faktoren geben Forschern konkrete Anhaltspunkte zur Überwachung, wenn sie abwägen, ob die Beschleunigung anhalten wird. Dennoch schließen sie eine anhaltende Beschleunigung der KI-Entwicklung nicht aus. Die offene Frage ist, ob unabhängige Sicherheitsüberprüfungen mit KI-gestützten Experimenten mithalten können – andernfalls könnte die Aufsicht weit vor der vollen Autonomie hinterherhinken.

Vom Temposetzen an der Front zur Kontrolle der Front

Diese Sorge veranlasste Anthropic-CEO Dario Amodei, eine langsamere Entwicklung und unabhängige Evaluatoren zu fordern. „Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern“, schrieb er in einem September-Essay.

OpenAI's Offenlegung vom 16. September beschrieb sechs Fälle besorgniserregenden Modellverhaltens. Cryptopolitan hat auch berichtet, dass die Technologiebranche darüber gespalten ist, ob die KI-Entwicklung verlangsamt werden sollte.

Doch Einigkeit über Sicherheitsbedenken garantiert kein Handeln. CSIS warnte, dass externe Evaluatoren Interessenkonflikte vermeiden müssen und Regierungen sich vor regulatorischer Kapitulation schützen müssen. Branchenweite Vereinbarungen bleiben unsicher, und ob unabhängige Evaluatoren überhaupt entstehen, ist der nächste Prüfstein dafür, ob die Debatte über das Tempo konkrete Veränderungen bewirkt.

Das Geld folgt der Rechenleistung

Die Debatte birgt auch erhebliche finanzielle Interessen. Stanfords AI Index 2026 ergab, dass private KI-Investitionen 2025 um 127,5 % stiegen, wobei die US-Investitionen das 23-Fache der chinesischen erreichten. Die OECD warnt separat, dass der Zugang zu Chips, Cloud-Infrastruktur und Daten weiterhin konzentriert bleibt.

Das Ergebnis ist ein Paradoxon. KI kann die Kosten für Forschungscode senken, doch das Training und Testen fortgeschrittener Modelle erfordert weiterhin enorme Investitionen. Eine schnellere Entwicklung könnte führenden Labors daher einen noch größeren Vorsprung gegenüber kleineren Wettbewerbern verschaffen.