Sakana AI introduceert MASS: een zelfverbeterende AI-lus gebouwd op zijn eigen collectieve intelligentie
Belangrijkste punten
- •Sakana AI en onderzoekers van UC Berkeley introduceerden MASS, een framework waarin één enkel model kopieën van zichzelf organiseert in de rollen van orkestrator, evaluator en optimizer voor recursieve zelfverbetering.
- •Na twee verbetercycli vanaf een open-weights-model met 27B-parameters bereikte de compute-genormaliseerde prestatie 1,2 tot 1,6 keer het basisniveau op MLR-Bench, ScienceAgentBench, DSBench en AstaBench, met winsten bevestigd door externe beoordelaars die buiten de training werden gehouden.
- •Training op multi-agent-trajecten leverde een winstrate van 68,3% op ten opzichte van het basismodel, met 31% minder supervised tokens dan een vergelijkbare single-agent-aanpak.
- •De overeenstemming van het model met sterke externe beoordelaars steeg van 73% naar 93% over de cycli, wat aangeeft dat de capaciteiten van evaluator en optimizer verbeteren samen met de taakprestaties.
- •Ablaties toonden aan dat de optimizer, in plaats van de evaluator, het knelpunt kan zijn, en de auteurs waarschuwen dat gedeelde blinde vlekken in homogene lussen kunnen leiden tot versterking van gebrekkige resultaten, waardoor onafhankelijke verificatie essentieel is.
Sakana AI heeft samen met onderzoekers van UC Berkeley Multi-Agent Self-Supervision (MASS) geïntroduceerd, een framework dat is ontworpen om AI-systemen te laten blijven verbeteren, zelfs wanneer taken te complex worden om betrouwbaar door mensen te beoordelen.
Sakana AI is een in Tokio gevestigd onderzoekscondariaat, opgericht in 2023 door voormalige Google-onderzoekers, waaronder Llion Jones, mede-auteur van het paper uit 2017 dat de Transformer-architectuur introduceerde die ten grondslag ligt aan veel van de huidige AI. Het lab ontleent zijn naam aan het Japanse woord voor vis — een knipoog naar het schoelgedrag dat aansluit bij het collectieve-intelligentiekader van het nieuwe werk: recursieve zelfverbetering via teams van agenten.
Het werk richt zich op een groeiend probleem in de AI-ontwikkeling: naarmate modellen verder gaan dan de opgebouwde kennis van de mensheid, kunnen menselijke experts de output mogelijk niet meer beoordelen of sturen. MASSakt dit aan door het model zijn eigen optimizer en evaluator te maken — een vorm van homogene recursieve zelfverbetering, waarbij elke agent in de lus een kopie is van hetzelfde onderliggende model — terwijl het probeert de valkuil te vermijden dat een systeem zijn eigen blinde vlekken versterkt.
Het framework wisselt tussen twee lussen. In de binnenlus organiseert het model kopieën van zichzelf in een team van virtuele subagenten dat wordt bestuurd door een geschreven workflow waarin de rol van elke subagent, de instructies, contracten voor welke informatie moet worden uitgewisseld en de volgorde van aanroepen zijn vastgelegd. Een orkestrator voert de workflow uit, een evaluator vergelijkt resultaten met de huidige kampioen en een optimizer doet revisievoorstellen. In de buitenlus worden de best presterende multi-agent-trajecten via fine-tuning teruggegotst in de gewichten van het gedeelde model, waarna het bijgewerkte model alle drie de rollen weer op zich neemt en de cyclus zich herhaalt.
Na twee volledige cycli, startend vanaf een open-weights-model met 27B-parameters, bereikte de prestatie — gemeten als score per output-token, een compute-genormaliseerde maat voor capaciteit — 1,2 tot 1,6 keer het niveau van het basismodel op onderzoekbenchmarks waaronder MLR-Bench, ScienceAgentBench, DSBench en AstaBench, waarbij de winsten werden bevestigd door externe beoordelaars die buiten het trainingsproces werden gehouden.
Introducing Multi-Agent Self-Supervision (MASS): Recursive self-improvement through collective intelligence Blog: As AI systems tackle increasingly open-ended research problems, human experts may struggle to assess results and guide further progress. The… pic.twitter.com/OWjbfIOEsy
— Sakana AI (@SakanaAILabs) October 11, 2026
Belangrijkste bevindingen: dichte signalen, rolgeneralisatie en nieuwe knelpunten
De onderzoekers melden drie hoofdresultaten. Ten eerste maakt MASS rolgeneralisatie mogelijk: training uitsluitend op taakoplossende trajecten verbeterde niet alleen de executor, maar ook de workflow-optimizer en de evaluator, waarbij de overeenstemming tussen de oordelen van het model en sterke externe beoordelaars steeg van 73% naar 93% over de cycli. Dit suggereert dat de zelfverbeteringslus zichzelf in stand kan houden, aangezien de capaciteiten voor het produceren en selecteren van toekomstige trainingsdata verbeteren samen met de taakprestaties.
Ten tweede bleken multi-agent-trajecten aanzienlijk efficiëntere trainingsdata dan single-agent-trajecten. Het model behaalde een winstrate van 68,3% ten opzichte van het basismodel met 31% minder supervised tokens dan een vergelijkbare single-agent-aanpak — een bewijs dat gezamenlijk leren van hoogwaardige orchestrate vanuit orkestratoren en begrensde executie vanuit subagenten een dichter leersignaal per token oplevert.
Ten derde, en wellicht het meest contraintuïtief, toonden ablaties aan dat het knelpunt in recursieve zelfverbetering de optimizer kan zijn in plaats van de evaluator. Het vervangen van de evaluator door een sterker extern model hielp weinig, maar het upgraden van zowel de evaluator als de optimizer stelde het systeem in staat om binnen vijf iteraties winnende workflows te vinden voor alle 12 test, tegen 11 van 12 voor de volledig homogene lus, die simpelweg langer nodig had.
Analyse van de geëvolueerde workflows toonde aan dat effectieve coördinatie taakspecifieke informatie verplaatst naar contracten en aanroepvolgorde — hoe agenten informatie uitwisselen en verifiëren — in plaats van naar rollen. De auteurs benadrukken ook de veiligheidsimplicaties: in een homogene lus kunnen gedeelde blinde vlekken ertoe leiden dat gebrekkige resultaten worden geaccepteerd als vooruitgang en worden versterkt door training, waardoor onafhankelijke verificatiemechanismen essentieel worden naarmate de capaciteiten voor zelfverbetering toenemen.
