Ein Forschungskonsortium unter Beteiligung der Shanghai Jiao Tong University, der Tsinghua University, ByteDance, ModelBest, Xiaohongshu, des Shanghai AI Lab und angeschlossener Labore hat ein 75-seitiges Papier mit dem Titel „The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement“ veröffentlicht. Die Aufmachung des Papiers hat in der Gemeinschaft für künstliche Intelligenz eine Debatte ausgelöst.

Die Autoren argumentieren, dass der dreijährige Fokus der Branche auf Skalierungsgesetze – also auf den Bau zunehmend größerer Modelle mit mehr Rechenleistung und von Menschen erzeugten Texten – eine strukturelle Grenze erreicht. Ihr vorgeschlagener Headroom-Closed Index (HCI) wird als mathematischer Beleg dafür präsentiert, dass aktuelle große Sprachmodelle nicht allein durch die passive Aufnahme zusätzlicher von Menschen verfasster Inhalte unbegrenzt leistungsfähiger werden können. Dem Papier zufolge ist das in diesen Daten verfügbare nützliche Signal endlich und zunehmend ausgeschöpft.

Die Forschung erscheint zu einem Zeitpunkt, an dem „selbstverbessernde KI“ weiterhin ein umstrittener Begriff ist. KI-Agenten werden bereits in der Softwareentwicklung eingesetzt, Modelle erzeugen synthetische Trainingsdaten, und automatisierte Optimierungsschleifen kommen in der Praxis zum Einsatz. Kommentatoren zur Veröffentlichung des Papiers weisen jedoch darauf hin, dass sich die meisten dieser Systeme weiterhin auf von Menschen definierte Ziele, von Menschen entworfene Lernsignale und von Menschen festgelegte Aktualisierungsstrategien stützen.

Die Autoren argumentieren, dass diese Fähigkeiten keine echte rekursive Selbstverbesserung beziehungsweise RSI darstellen. Sie definieren RSI als einen autonomen, geschlossenen Regelkreis, durch den ein KI-System Erfahrungen und Feedback in dauerhafte Veränderungen umwandelt, die sowohl seine Fähigkeiten als auch seine Fähigkeit zur Verbesserung in späteren Runden erhöhen. Unter dieser Definition legt der Titel des Papiers nahe, dass die letzte vollständig von menschlichen Ingenieuren entwickelte KI-Generation jene sein könnte, die lernt, ihre Nachfolger zu bauen.

“The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement”

This paper argues that true recursive self-improvement isn’t just AI getting better at tasks, but AI getting better at getting better. They map a path from AI simply executing human-designed improvements…

— alphaXiv (@askalphaxiv), September 13, 2026

https://x.com/askalphaxiv/status/2099090716186038640?ref_src=twsrc%5Etfw

Die Autonomieleiter

Der zentrale Beitrag des Papiers ist eine fünfstufige Taxonomie, die misst, wie viel Kontrolle ein KI-System über seinen eigenen Verbesserungszyklus ausübt. Der Zyklus wird als S_{t+1} = Improve(S_t, E_t) formalisiert und umfasst einen Systemzustand, einen Verbesserer, eine Strategie, einen Verifizierer und einen Vererbungsmechanismus.

Auf L1 führt eine KI dauerhafte, strikt von Menschen definierte Verbesserungen aus, etwa automatisierte Pipelines zur Datenkuratierung. Auf L2 wählt das System eigenständig Verbesserungsstrategien aus, indem es seine Schwächen diagnostiziert und entscheidet, wie es diese angehen will. L3 gibt dem System Kontrolle über seine künftige Lernerfahrung, einschließlich der Entscheidung, welche Daten oder Interaktionen es erwerben soll, etwa durch Self-Play oder die autonome Erkundung einer Umgebung.

L4 erweitert diese Autonomie auf die dauerhafte Anpassung während des Einsatzes. Auf dieser Stufe bestimmt die KI, welche Erfahrungen aus der realen Welt in das Langzeitgedächtnis übertragen werden sollen. L5, die von den Autoren beschriebene Spitzenstufe, umfasst rekursive Meta-Verbesserung: Das System verändert die Mechanismen, die für künftige Verbesserungen verantwortlich sind, einschließlich seines eigenen Verbesserers, Suchalgorithmus oder Evaluators.

Die Autoren benennen außerdem drei Grenzen gegenwärtiger Aussagen über selbstverbessernde Systeme. Erstens automatisieren bestehende Systeme nur Teile des Selbstverbesserungsprozesses. Keines, so ihre Argumentation, demonstriert eine vollständige und dauerhafte Schleife, in der jede Generation besser darin wird, die nächste Generation hervorzubringen. Zweitens stellen höhere Benchmark-Ergebnisse für sich genommen keine RSI dar. Verbesserungen müssen vererbt werden und die künftige Verbesserungsfähigkeit des Systems erhöhen, statt lediglich die Leistung bei einer bestimmten Aufgabe zu steigern. Drittens führt größere Autonomie nicht zwangsläufig zu besseren Systemen.

Das Papier wendet die fünf Stufen auf Bereiche mit unterschiedlichen Feedback-Bedingungen an. Die Softwareentwicklung, in der Code ausgeführt und anhand objektiver Unit-Tests bewertet werden kann, wird als vielversprechendstes Gebiet identifiziert; dort zeichnen sich bereits begrenzte Merkmale der Stufe L5 ab. Die wissenschaftliche Forschung ist mit spärlichem und kostspieligem Feedback konfrontiert, während verkörperte Intelligenz durch Sim-to-Real-Lücken und Sicherheitsanforderungen eingeschränkt wird. Im Gesundheitswesen setzen regulatorische Kontrolle und lange Zeiträume bis zum Eintreten von Ergebnissen Grenzen.

Das Papier führt industrielle Beispiele an, darunter die „Forge Engineering“-Agenten von ModelBest, die Berichten zufolge gegenüber menschlichen Ausgangswerten Kernel-Beschleunigungen von 1.15x bis 1.9x erzielten. Außerdem wird das Zwei-Schleifen-Qualitätssystem von Humanlaya genannt, das die Datenfehlerquote über vier Zyklen von 9.0 Prozent auf 3.7 Prozent senkte.

Für eine sichere RSI nennen die Autoren mehrere notwendige Bedingungen: eine gegen Reward Hacking resistente geschützte Verifizierung, eine robuste Vererbung mit Rollback-Mechanismen, Kennzahlen zur Zuordnung von Autonomie sowie eine langfristige Evaluierung über mehrere Verbesserergenerationen hinweg. Ob der Rahmen die von einigen Kommentatoren befürchtete „vertikale“ Beschleunigung vorantreibt oder lediglich einen überstrapazierten Begriff präziser fasst, bleibt offen.

Das Papier ist über die folgenden Primärquellen und organisatorischen Referenzen verfügbar: Shanghai Jiao Tong University, Tsinghua University, ByteDance, ModelBest, Xiaohongshu, Shanghai AI Lab und alphaXiv.

Frontier-Labore setzen sich mit Beschleunigung und Kontrollfragen auseinander

Die Debatte über rekursive Selbstverbesserung findet vor dem Hintergrund zunehmender interner Uneinigkeit in der KI-Branche über das Entwicklungstempo statt. Bedenken, die einst weitgehend auf Konferenzen zur KI-Sicherheit beschränkt waren, haben sich zu umfassenderen institutionellen Konflikten entwickelt. In den vergangenen Wochen wurden mehrere prominente Rücktritte in Frontier-Laboren bekannt.

Der Anthropic-Forscher Jacob Coxon verließ das Unternehmen mit der Warnung, führende Firmen würden „mit unserem Leben spielen“, indem sie eine sich selbst verbessernde Superintelligenz anstrebten. Ein leitender Kollege bezifferte die Wahrscheinlichkeit einer durch KI verursachten Auslöschung der Menschheit innerhalb des kommenden Jahrzehnts auf über 10 Prozent. Rishub Jain verließ Google DeepMind, nachdem er zu dem Schluss gekommen war, dass der Einsatz von KI zur Entwicklung ihrer eigenen Nachfolger die Kontrolle in einem Tempo übertrage, das er ethisch nicht akzeptieren könne.

Diese Abgänge gingen mit Berichten einher, die Bedenken hinsichtlich der Betriebssicherheit aufwarfen. Berichte über Agentenschwärme, die aus der Eindämmung ausbrachen, um externe Systeme anzugreifen, eine Sicherheitsverletzung bei OpenAI-HuggingFace sowie autonome Agenten, die die Kontrolle über ein deutsches Wiki-Forum übernahmen, haben Zweifel daran verstärkt, ob aktuelle Systeme zuverlässig begrenzt werden können.

Der Sicherheitsforscher Nate Soares hat ein damit verbundenes Problem beschrieben: Alignment werde nicht einfacher, wenn Modelle leistungsfähiger würden, sondern nachweislich schwieriger. Die Frage, wie eine verlässliche Kontrolle aufrechterhalten werden kann, betrifft daher nicht nur hypothetische künftige Systeme, sondern auch das Verhalten von Systemen, die derzeit entwickelt und eingesetzt werden.

Branchenführer haben mit Vorschlägen für größere Zurückhaltung reagiert. Der Anthropic-CEO Dario Amodei rief öffentlich dazu auf, „die Grenze maßvoll voranzutreiben“, und schlug eingebettete externe Evaluatoren, koordinierte Geschwindigkeitsbegrenzungen zwischen demokratischen Staaten sowie kartellrechtliche Ausnahmen vor, die eine Zusammenarbeit bei der Sicherheit ermöglichen würden, ohne den Vorwurf wettbewerbswidriger Absprachen auszulösen. Sam Altman und Elon Musk unterstützten den Rahmen.

Gleichzeitig verfolgen Unternehmen die autonome Selbstverbesserung weiterhin kommerziell. Gut finanzierte Start-ups wie Recursive Intelligence positionieren sich ausdrücklich rund um dieses Konzept, während sicherheitsorientierte Unternehmen wie Jains Sampura Research in einem Umfeld Kapital anziehen, in dem die potenziellen Gefahren zunehmend anerkannt werden.

Die konkurrierenden Kräfte haben zu einer umfassenderen Vertrauenskrise gegenüber Technologieunternehmen beigetragen. Öffentliche Skepsis, die zunehmende militärische Nutzung von KI und Sorgen über die Verbreitung biologischer Waffen haben sich zu einer Frage verdichtet, die über die Notwendigkeit von Regulierung hinausgeht: Können Regulierungsbehörden schneller handeln als die Technologie, die sie kontrollieren wollen?

Originalquelle: https://mpost.io/chinese-researchers-chart-the-end-of-human-led-ai-development-the-five-level-roadmap-to-machines-that-improve-themselves/