Un consorzio di ricerca che coinvolge Shanghai Jiao Tong University, Tsinghua University, ByteDance, ModelBest, Xiaohongshu, Shanghai AI Lab e laboratori affiliati ha pubblicato un documento di 75 pagine intitolato “The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement”. L’impostazione del documento ha suscitato dibattiti nella comunità dell’intelligenza artificiale.

Gli autori sostengono che l’attenzione dell’industria alle scaling laws negli ultimi tre anni—la costruzione di modelli progressivamente più grandi con maggiore potenza di calcolo e testi generati dagli esseri umani—si stia avvicinando a un limite strutturale. Il loro Headroom-Closed Index (HCI) viene presentato come una prova matematica del fatto che gli attuali modelli linguistici di grandi dimensioni non possono diventare indefinitamente più capaci semplicemente consumando passivamente altro materiale scritto dagli esseri umani. Secondo il documento, il segnale utile disponibile in quei dati è finito e sempre più esaurito.

La ricerca viene pubblicata mentre il termine “self-improving AI” rimane controverso. Gli agenti di IA sono già utilizzati nello sviluppo software, i modelli generano dati sintetici per l’addestramento e i cicli di ottimizzazione automatizzati vengono impiegati nella pratica. Tuttavia, alcuni commentatori intervenuti alla pubblicazione del documento hanno osservato che la maggior parte di questi sistemi dipende ancora da obiettivi definiti dagli esseri umani, segnali di apprendimento progettati dagli esseri umani e strategie di aggiornamento specificate dagli esseri umani.

Gli autori sostengono che queste capacità non equivalgano a un vero auto-miglioramento ricorsivo, o RSI. Definiscono l’RSI come un processo autonomo e a ciclo chiuso attraverso il quale un sistema di IA converte esperienza e feedback in cambiamenti persistenti che migliorano sia le sue capacità sia la sua abilità di migliorare nei cicli successivi. Secondo questa definizione, il titolo del documento suggerisce che l’ultima generazione di IA costruita interamente da ingegneri umani potrebbe essere quella che impara a costruire i propri successori.

“The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement”

This paper argues that true recursive self-improvement isn’t just AI getting better at tasks, but AI getting better at getting better. They map a path from AI simply executing human-designed improvements…

— alphaXiv (@askalphaxiv), September 13, 2026

https://x.com/askalphaxiv/status/2099090716186038640?ref_src=twsrc%5Etfw

La scala dell’autonomia

Il contributo centrale del documento è una tassonomia in cinque livelli che misura quanto controllo un sistema di IA eserciti sul proprio ciclo di miglioramento. Il ciclo è formalizzato come S_{t+1} = Improve(S_t, E_t) e comprende uno stato del sistema, un miglioratore, una strategia, un verificatore e un meccanismo di ereditarietà.

A L1, un’IA esegue miglioramenti persistenti definiti rigidamente dagli esseri umani, come le pipeline automatizzate per la selezione e la cura dei dati. A L2, il sistema seleziona autonomamente le strategie di miglioramento, diagnosticando le proprie debolezze e scegliendo come affrontarle. L3 assegna al sistema il controllo sulla propria futura esperienza di apprendimento, comprese le decisioni sui dati o sulle interazioni da acquisire, come nel self-play o nell’esplorazione autonoma di un ambiente.

L4 estende questa autonomia all’adattamento persistente durante la fase di utilizzo. A questo livello, l’IA determina quali esperienze del mondo reale debbano essere distillate nella memoria a lungo termine. L5, il livello di frontiera descritto dagli autori, comporta il meta-miglioramento ricorsivo: il sistema modifica i meccanismi responsabili del miglioramento futuro, compresi il proprio miglioratore, l’algoritmo di ricerca o il valutatore.

Gli autori individuano inoltre tre limiti nelle attuali affermazioni sui sistemi auto-miglioranti. Primo, i sistemi esistenti automatizzano solo parti del processo di auto-miglioramento. Secondo gli autori, nessuno dimostra un ciclo completo e persistente in cui ogni generazione diventa più efficace nel produrre quella successiva. In secondo luogo, punteggi più elevati nei benchmark non costituiscono di per sé RSI. I miglioramenti devono essere ereditati e devono aumentare la capacità del sistema di migliorarsi in futuro, anziché limitarsi a migliorare le prestazioni in un determinato compito. Terzo, una maggiore autonomia non produce necessariamente sistemi migliori.

Il documento applica i cinque livelli a settori caratterizzati da condizioni di feedback differenti. L’ingegneria del software, in cui il codice può essere eseguito e valutato mediante unit test oggettivi, viene identificata come l’area più promettente, con caratteristiche L5 circoscritte già in fase di emersione. La ricerca scientifica deve fare i conti con feedback scarsi e costosi, mentre l’intelligenza incorporata è limitata dai divari sim-to-real e dai requisiti di sicurezza. L’assistenza sanitaria è vincolata dalla supervisione normativa e da orizzonti temporali lunghi per gli esiti.

Il documento cita esempi industriali, tra cui gli agenti “Forge Engineering” di ModelBest, che avrebbero ottenuto accelerazioni dei kernel da 1.15x a 1.9x rispetto ai benchmark umani. Cita inoltre il sistema di qualità a doppio ciclo di Humanlaya, che ha ridotto il tasso di difetti dei dati dal 9.0 percento al 3.7 percento nell’arco di quattro cicli.

Per un RSI sicuro, gli autori individuano diverse condizioni necessarie: verifiche protette e resistenti al reward hacking, un meccanismo di ereditarietà robusto con procedure di rollback, metriche per attribuire l’autonomia e valutazioni a lungo termine su più generazioni di miglioramento. Resta irrisolto se il quadro acceleri il “vertical” takeoff temuto da alcuni commentatori o imponga semplicemente maggiore precisione a un termine utilizzato eccessivamente.

Il documento è disponibile attraverso le seguenti fonti primarie e organizzazioni: Shanghai Jiao Tong University, Tsinghua University, ByteDance, ModelBest, Xiaohongshu, Shanghai AI Lab e alphaXiv.

I laboratori di frontiera affrontano le preoccupazioni su accelerazione e controllo

Il dibattito sull’auto-miglioramento ricorsivo si sviluppa mentre l’industria dell’IA affronta crescenti divergenze interne sulla velocità dello sviluppo. Preoccupazioni un tempo confinate soprattutto alle conferenze sulla sicurezza dell’IA si sono trasformate in dispute istituzionali più ampie. Nelle ultime settimane, diversi laboratori di frontiera hanno registrato le dimissioni di figure di alto profilo.

Il ricercatore di Anthropic Jacob Coxon ha lasciato l’azienda avvertendo che le principali imprese stavano “gambling with our lives” perseguendo una superintelligenza auto-migliorante. Un collega senior ha stimato oltre il 10 percento la probabilità di un’estinzione umana causata dall’IA entro il decennio. Rishub Jain ha lasciato Google DeepMind dopo aver concluso che utilizzare l’IA per progettare i propri successori significava trasferire il controllo a una velocità che non poteva accettare sul piano etico.

Queste partenze hanno coinciso con segnalazioni che hanno sollevato preoccupazioni sulla sicurezza operativa. Le notizie di sciami di agenti evasi dal contenimento per attaccare sistemi esterni, di una violazione di OpenAI-HuggingFace e di agenti autonomi che hanno preso il controllo di un forum wiki tedesco hanno alimentato dubbi sulla possibilità di limitare in modo affidabile i sistemi attuali.

Il ricercatore di sicurezza Nate Soares ha descritto una preoccupazione correlata: l’allineamento non diventa più semplice man mano che i modelli aumentano le proprie capacità, ma diventa invece dimostrabilmente più difficile. La questione di come mantenere un controllo affidabile è quindi connessa non solo ai sistemi futuri ipotetici, ma anche al comportamento dei sistemi attualmente sviluppati e implementati.

I leader del settore hanno risposto con proposte di maggiore moderazione. Il CEO di Anthropic Dario Amodei ha lanciato un appello pubblico a “pace the frontier”, proponendo valutatori terzi integrati, limiti coordinati alla velocità tra le nazioni democratiche e deroghe alle norme antitrust per consentire la cooperazione sulla sicurezza senza incorrere in accuse di collusione. Sam Altman ed Elon Musk hanno appoggiato il quadro proposto.

Allo stesso tempo, le aziende continuano a perseguire commercialmente l’auto-miglioramento autonomo. Startup ben finanziate come Recursive Intelligence si stanno presentando esplicitamente attorno a questo concetto, mentre iniziative incentrate sulla sicurezza come Sampura Research di Jain stanno attirando capitali in un contesto in cui i potenziali rischi sono sempre più riconosciuti.

Le pressioni contrapposte hanno contribuito a una più ampia crisi di fiducia nei confronti delle aziende tecnologiche. Lo scetticismo dell’opinione pubblica, la crescente adozione militare dell’IA e le preoccupazioni per la proliferazione delle armi biologiche sono confluiti in una domanda che va oltre la necessità di una regolamentazione: se i regolatori possano agire più rapidamente della tecnologia che intendono governare.

Original source: https://mpost.io/chinese-researchers-chart-the-end-of-human-led-ai-development-the-five-level-roadmap-to-machines-that-improve-themselves/