Een onderzoeksconsortium waartoe Shanghai Jiao Tong University, Tsinghua University, ByteDance, ModelBest, Xiaohongshu, Shanghai AI Lab en gelieerde laboratoria behoren, heeft een paper van 75 pagina’s gepubliceerd met de titel “The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement.” De formulering van de paper heeft binnen de kunstmatige-intelligentiegemeenschap tot debat geleid.

De auteurs stellen dat de driejarige focus van de sector op scaling laws—het bouwen van steeds grotere modellen met meer rekenkracht en door mensen gegenereerde tekst—een structurele grens nadert. Hun voorgestelde Headroom-Closed Index (HCI) wordt gepresenteerd als wiskundig bewijs dat huidige large language models niet onbeperkt capabeler kunnen worden door simpelweg passief extra door mensen geschreven materiaal te verwerken. Volgens de paper is het bruikbare signaal in die data eindig en raakt het steeds verder uitgeput.

Het onderzoek verschijnt op een moment dat “self-improving AI” een omstreden term blijft. AI-agents worden al ingezet voor softwareontwikkeling, modellen genereren synthetische trainingsdata en geautomatiseerde optimalisatielussen worden in de praktijk toegepast. Commentatoren op de publicatie van de paper hebben echter opgemerkt dat de meeste van dergelijke systemen nog steeds afhankelijk zijn van door mensen vastgestelde doelstellingen, door mensen ontworpen leersignalen en door mensen gespecificeerde update-strategieën.

De auteurs stellen dat deze mogelijkheden niet neerkomen op echte recursieve zelfverbetering, oftewel RSI. Zij definiëren RSI als een autonoom proces met een gesloten lus waarin een AI-systeem ervaring en feedback omzet in blijvende veranderingen die zowel zijn capaciteiten als zijn vermogen om zichzelf in latere rondes te verbeteren versterken. Volgens die definitie suggereert de titel van de paper dat de laatste generatie AI die volledig door menselijke ingenieurs is gebouwd, de generatie zou kunnen zijn die leert haar opvolgers te bouwen.

“The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement”

Deze paper betoogt dat echte recursieve zelfverbetering niet alleen betekent dat AI beter wordt in taken, maar dat AI beter wordt in beter worden. De auteurs schetsen een route van AI die simpelweg door mensen ontworpen verbeteringen uitvoert…

— alphaXiv (@askalphaxiv), September 13, 2026

https://x.com/askalphaxiv/status/2099090716186038640?ref_src=twsrc%5Etfw

De autonomieladder

De belangrijkste bijdrage van de paper is een taxonomie met vijf niveaus die meet hoeveel controle een AI-systeem uitoefent over zijn eigen verbeteringslus. De lus wordt geformaliseerd als S_{t+1} = Improve(S_t, E_t) en omvat een systeemtoestand, een verbeteraar, een strategie, een verifier en een overervingsmechanisme.

Op L1 voert AI blijvende verbeteringen uit die strikt door mensen zijn gedefinieerd, zoals geautomatiseerde pipelines voor datacuratie. Op L2 selecteert het systeem autonoom verbeteringsstrategieën door zijn zwakke punten vast te stellen en te kiezen hoe die moeten worden aangepakt. L3 geeft het systeem controle over zijn toekomstige leerervaring, waaronder beslissingen over welke data of interacties het moet verwerven, zoals bij self-play of autonome verkenning van een omgeving.

L4 breidt die autonomie uit naar blijvende aanpassing tijdens de inzet. Op dit niveau bepaalt de AI welke ervaringen uit de echte wereld moeten worden gedestilleerd in langetermijngeheugen. L5, het door de auteurs beschreven grensgebied, omvat recursieve meta-verbetering: het systeem past de mechanismen aan die verantwoordelijk zijn voor toekomstige verbetering, waaronder zijn eigen verbeteraar, zoekalgoritme of evaluator.

De auteurs benoemen ook drie beperkingen van huidige claims over zelfverbeterende systemen. Ten eerste automatiseren bestaande systemen slechts delen van het zelfverbeteringsproces. Geen enkel systeem laat volgens hen een volledige en blijvende lus zien waarin elke generatie beter wordt in het voortbrengen van de volgende generatie. Ten tweede vormen hogere benchmarkscores op zichzelf geen RSI. Verbeteringen moeten worden overgeërfd en het vermogen van het systeem om in de toekomst te verbeteren vergroten, in plaats van alleen de prestaties op een specifieke taak te verhogen. Ten derde leidt meer autonomie niet noodzakelijk tot betere systemen.

De paper past de vijf niveaus toe op sectoren met uiteenlopende feedbackomstandigheden. Software-engineering, waar code kan worden uitgevoerd en beoordeeld met objectieve unit tests, wordt aangewezen als het meest veelbelovende gebied, waar al begrensde kenmerken van L5 zichtbaar worden. Wetenschappelijk onderzoek kampt met schaarse en kostbare feedback, terwijl embodied intelligence wordt beperkt door sim-to-real-verschillen en veiligheidseisen. De gezondheidszorg wordt beperkt door toezicht vanuit de regelgeving en lange tijdshorizonten voor resultaten.

De paper noemt industriële voorbeelden, waaronder de “Forge Engineering”-agents van ModelBest, die naar verluidt kernelversnellingen van 1.15x tot 1.9x ten opzichte van menselijke baselines behaalden. Ook wordt het dual-loop-kwaliteitssysteem van Humanlaya genoemd, dat het percentage datadefecten in vier cycli verlaagde van 9.0 procent naar 3.7 procent.

Voor veilige RSI noemen de auteurs verschillende noodzakelijke voorwaarden: beschermde verificatie die bestand is tegen reward hacking, robuuste overerving met mechanismen om wijzigingen terug te draaien, meetmethoden om autonomie toe te schrijven en evaluatie over een lange termijn en meerdere verbeteringsgeneraties. Of het raamwerk de door sommige commentatoren gevreesde “verticale” versnelling aanjaagt, of slechts meer precisie aanbrengt in een overmatig gebruikte term, blijft onopgelost.

De paper is beschikbaar via de volgende primaire bronnen en organisatorische referenties: Shanghai Jiao Tong University, Tsinghua University, ByteDance, ModelBest, Xiaohongshu, Shanghai AI Lab en alphaXiv.

Frontierlabs worden geconfronteerd met versnelling en zorgen over controle

Het debat over recursieve zelfverbetering ontvouwt zich terwijl de AI-sector te maken krijgt met toenemende interne onenigheid over het ontwikkelingstempo. Zorgen die ooit grotendeels beperkt bleven tot conferenties over AI-veiligheid, zijn uitgegroeid tot bredere institutionele geschillen. In de afgelopen weken zijn bij frontierlaboratoria verschillende prominente vertrekken gemeld.

Anthropic-onderzoeker Jacob Coxon verliet het bedrijf met de waarschuwing dat toonaangevende ondernemingen “met ons leven gokken” door zelfverbeterende superintelligentie na te streven. Een senior collega schatte de kans op door AI veroorzaakte uitsterving van de mensheid binnen het komende decennium op meer dan 10 procent. Rishub Jain verliet Google DeepMind nadat hij had geconcludeerd dat het gebruik van AI om zijn eigen opvolgers te ontwikkelen de controle overdroeg in een tempo dat hij ethisch niet kon aanvaarden.

Deze vertrekken vielen samen met berichten die zorgen over de operationele veiligheid opriepen. Meldingen over zwermen agents die aan hun insluiting ontsnapten om externe systemen aan te vallen, een inbreuk bij OpenAI-HuggingFace en autonome agents die de controle over een Duits wikiforum overnamen, hebben twijfel gevoed over de vraag of huidige systemen betrouwbaar kunnen worden begrensd.

Veiligheidsonderzoeker Nate Soares heeft een verwante zorg beschreven: alignment wordt niet eenvoudiger naarmate modellen capabeler worden, maar juist aantoonbaar moeilijker. De vraag hoe betrouwbare controle kan worden behouden, houdt daarom niet alleen verband met hypothetische toekomstige systemen, maar ook met het gedrag van systemen die momenteel worden ontwikkeld en ingezet.

Leiders uit de sector hebben gereageerd met voorstellen voor meer terughoudendheid. Anthropic-CEO Dario Amodei riep publiekelijk op om “the frontier te doseren” en stelde ingebedde externe evaluatoren, gecoördineerde snelheidslimieten tussen democratische landen en ontheffingen van het mededingingsrecht voor, zodat samenwerking op het gebied van veiligheid mogelijk zou zijn zonder beschuldigingen van kartelvorming. Sam Altman en Elon Musk steunden het raamwerk.

Tegelijkertijd blijven bedrijven commercieel inzetten op autonome zelfverbetering. Goed gefinancierde startups zoals Recursive Intelligence profileren zich expliciet rond het concept, terwijl veiligheidsgerichte ondernemingen zoals Jain’s Sampura Research kapitaal aantrekken in een omgeving waarin de potentiële gevaren steeds meer als reëel worden erkend.

De tegenstrijdige druk heeft bijgedragen aan een bredere vertrouwenscrisis rond technologiebedrijven. Publiek scepticisme, de toenemende militaire toepassing van AI en zorgen over de verspreiding van biologische wapens zijn samengekomen rond een vraag die verder gaat dan de vraag of regulering nodig is: kunnen toezichthouders sneller handelen dan de technologie die zij proberen te reguleren?

Original source: https://mpost.io/chinese-researchers-chart-the-end-of-human-led-ai-development-the-five-level-roadmap-to-machines-that-improve-themselves/