Die Aussicht, dass KI-Modelle sich selbst effizienter und leistungsfähiger beibringen – einst eine ferne Ambition unter Technikforschern – rückt der Realität näher.

Mit dem Fortschritt der Technologie, so Entwickler, nähert sie sich der „rekursiven Selbstverbesserung“ (recursive self-improvement, RSI), einer Phase, in der KI-Modelle Wege finden, sich selbst zu verbessern und ihre Nachfolger zu bauen. Tech-Manager sagen, dieser Wandel könne Fortschritte in Wissenschaft und Medizin bringen, birge aber auch Risiken.

Die Unsicherheit darüber, wohin das führen könnte, steht im Zentrum wachsender Ängste vor einer KI, die der menschlichen Kontrolle entgleitet, und möglicher Bedrohungen für die Menschheit. Diese Sorgen veranlassten mehrere Größen der KI-Branche, sich am Wochenende einem Aufruf anzuschließen, das Wachstumstempo der Technologie zu verlangsamen.

Anthropic erläuterte diese Woche, wie sein Modell Claude dem Unternehmen hilft, die nächste, intelligentere Version seiner selbst zu entwickeln. Claude leitet nun 26 % der Modellforschung und -entwicklung von Anthropic, was nach Unternehmensangaben bedeutet, dass es den größten Teil einer Aufgabe „Ende-zu-Ende aus einem übergeordneten Prompt“ abschließen kann, während es weiterhin unter menschlicher Aufsicht arbeitet. Die Modelle arbeiten noch nicht vollständig autonom – zumindest noch nicht.

Ungleiche Definitionen von RSI

Führende KI-Unternehmen definieren rekursive Selbstverbesserung unterschiedlich. Manche definieren sie als jegliches Feedback von KI zur Modellverbesserung, andere als eine KI, die vollständig autonom auf dieses Ziel hinarbeitet. Der Unterschied ist wichtig: Da es keine gemeinsame Schwelle dafür gibt, was als RSI zählt, messen Fortschrittsangaben verschiedener Labore nicht alle dasselbe.

Autonome rekursive Selbstverbesserung bedeutet im Wesentlichen eine KI, die sich selbst verbessern kann, indem sie die nächste Version des Systems entwirft, dann die nächste Version und so weiter, so Anthony Aguirre, Präsident und CEO des gemeinnützigen Future of Life Institute und Physikprofessor an der University of California, Santa Cruz.

„Das wirklich Wichtige hierbei ist: Je mehr die KI davon tut, desto schneller wird es, weil KI einfach viel, viel schneller arbeitet als der Mensch“, sagte er.

Experten wagen Risiko gegen schleichende Realität ab

Die Angst rund um RSI beruht weitgehend auf der Möglichkeit, dass aus diesem Prozess eine außer Kontrolle geratende Superintelligenz entsteht – ein Szenario, in dem sich selbst verbessernde Systeme die Fähigkeit der Menschen, sie zu überwachen oder zu kontrollieren, übersteigen –, sagte John Thickstun, Assistenzprofessor für Informatik an der Cornell University, der Methoden zur Kontrolle des Verhaltens von KI-Modellen erforscht. Eine bodenständigere Sichtweise zeige jedoch, dass eine Form rekursiver Selbstverbesserung in der KI-Entwicklung bereits seit einiger Zeit im Gange ist.

„Wir verwenden diese Modelle bereits seit Jahren in unterstützenden Rollen, um die nächste Version dieser Modelle zu erstellen. Menschen nutzen also die vorherige Modellgeneration, um Code für die KI-Systeme zu schreiben, die dann die nächste Generation erzeugen“, sagte er.

Prominente KI-Forscher – darunter OpenAI-Mitgründer Andrej Karpathy – experimentieren seit Jahren damit, KI-Modelle neue KI-Systeme trainieren und verbessern zu lassen. Diese Bemühungen hätten kleine Verbesserungen, aber keine großen kreativen Sprünge gebracht, so Thickstun.

Aguirre sagte jedoch, KI-Unternehmen seien heute viel näher daran, diese größeren Verbesserungssprünge zu schaffen.

„Man sieht in diesen Diagrammen von Anthropic im Zeitverlauf, dass immer mehr Forschung von der KI erledigt wird und sie der vollständigen Autonomie immer näher kommt“, sagte er. „Und das Ergebnis dieses Erfolgs ist letztlich etwas, das, wie ich finde, extrem beängstigend ist. Ich glaube, das ist wahrscheinlich die schlechteste Idee in der Geschichte der Menschheit. Und ja, sie tun es.“

Anthropics Ankündigung gab der Öffentlichkeit – und anderen Laboren – einen Einblick in den RSI-Fortschritt, und das Unternehmen ermutigte seine Wettbewerber, ähnliche Kennzahlen zu veröffentlichen. Zahlen, die Wettbewerber als Reaktion veröffentlichen, könnten der Branche eine gemeinsame Grundlage für den Vergleich des Fortschritts hin zur autonomen Forschung bieten. Anthropic hat dennoch nicht ausdrücklich gesagt, wie nah es der vollständig autonomen Modellverbesserung ist.

OpenAIs „Research Intern“ und das Ziel für 2028

ChatGPT-Hersteller OpenAI kündigte in diesem Monat an, einen automatisierten „Research Intern“ entwickelt zu haben – definiert als ein System, das klar umrissene Forschungsaufgaben unter menschlicher Anleitung ausführen kann, darunter „Aufgaben, die einen erfahrenen Forscher einige Tage kosten würden“. Das Unternehmen hat erklärt, es verfolge weiter das Ziel, bis März 2028 einen automatisierten KI-„Forscher“ zu schaffen. Das Datum bietet Beobachtern einen konkreten, vom Unternehmen selbst genannten Meilenstein, an dem dieser Fortschritt gemessen werden kann.

In dieser Ankündigung sagte OpenAI, obwohl RSI helfen könne, die Handlungen der Modelle mit menschlichen Werten und Absichten in Einklang zu bringen, bedeute das nicht, dass „schnelle RSI zwangsläufig ein Ergebnis ist, dem wir nachstreben sollten“.

„Ob und wie wir vorgehen, muss von unserer Fähigkeit abhängen, die menschliche Kontrolle zu bewahren, und von informierten demokratischen Entscheidungen über Nutzen undiken“, sagte das Unternehmen in einem Blogbeitrag.

Musk signalisiert schnelleren Zeitplan bei xAI

Elon Musk scheint eifriger, voranzuschreiten. Im März sagte er über xAIs Grok-Modelle, „Menschen kommen bei der Modellverbesserung zunehmend weniger vor“, und dass „jedes nachfolgende Modell vom vorherigen gebaut“ werde – wobei er klarstellte, dass der Prozess noch nicht vollständig automatisiert sei. Dieses Ziel könnte bis Ende dieses Jahres erreicht werden, fügte er hinzu, „aber nicht später“ als 2027 – ein Zeitplan, der vor OpenAIs Ziel von März 2028 liegt, auch wenn die beiden Unternehmen den Meilenstein unterschiedlich beschreiben.

Microsofts „humanistische“ Alternative

Microsoft und einige andere führende KI-Unternehmen scheinen einen anderen Weg zu gehen. Mustafa Suleyman, CEO von Microsoft AI, hat gesagt, das Unternehmen bewege sich in Richtung „humanistischer Superintelligenz“ – fortschrittlicher KI-Fähigkeiten im Dienst der Menschen und der Menschheit insgesamt. In einem Essay von 2025 sagte Suleyman, das bedeute keine „unbegrenzte und unbeschränkte Entität mit hohem Autonomiegrad“, sondern eine KI, die „sorgfältig kalibriert, kontextualisiert, innerhalb von Grenzen“ sei.

Sicherheitsmaßnahmen kommen kaum mit

Eine zentrale Herausforderung für die Labore – eine, der sie sich im Grunde seit der Entstehung der Technologie stellen – besteht darin, sicherzustellen, dass ihre Sicherheitsmaßnahmen mit den Fähigkeiten ihrer Modelle Schritt halten.

In der Tech-Branche sind Meinungsverschiedenheiten über Aufrufe zu einer koordinierten KI-Verlangsamung aus Sicherheitsgründen entstanden, und nicht jeder große Akteur im KI-Bereich hat sich konkret zu seinem weiteren Weg bei RSI geäußert.

Anthropic, eine der führenden Stimmen in den Aufrufen zur Tempobegrenzung, hat erklärt, es würde seine Entwicklungsarbeit verlangsamen oder vorübergehend aussetzen – vorausgesetzt, seine globalen Wettbewerber täten dies ebenfalls, und zwar in „überprüfbarer Weise“.

OpenAI sagte diesen Monat ausdrücklich, es wisse noch nicht, wie man „sicher bis zu einer ausgerichteten, vollständigen RSI gelangt“, und fügte hinzu, das Unternehmen „kann nicht davon ausgehen, dass Fortschritte bei Alignment und Sicherheit mithalten werden“. Leistungsstärkere Systeme könnten schwerer zu überwachen werden, fuhr es fort, aber die Verfolgung von RSI bleibe ein Ziel, an dem das Unternehmen festhalte, weil ein „automatisierter KI-Forscher auch ein automatisierter Sicherheits- oder Alignment-Forscher sein kann“.

Diese Geschichte erschien ursprünglich auf Fortune.com.