Sakana AI stellt MASS vor: Eine selbstverbessernde KI-Schleife auf Basis der eigenen kollektiven Intelligenz
Wichtige Erkenntnisse
- •Sakana AI und Forscher der UC Berkeley haben MASS vorgestellt, ein Framework, bei dem ein einzelnes Modell Kopien seiner selbst in die Rollen von Orchestrator, Bewerter und Optimierer organisiert, um sich rekursiv selbst zu verbessern.
- •Nach zwei Verbesserungszyklen, ausgehend von einem Open-Weights-Modell mit 27B Parametern, erreichte die compute-normalisierte Leistung das 1,2- bis 1,6-Fache des Baseniveaus über MLR-Bench, ScienceAgentBench, DSBench und AstaBench, bestätigt durch externe Bewerter, die vom Training ferngehalten wurden.
- •Das Training auf Multi-Agenten-Trajektorien führte zu einer Gewinnquote von 68,3 % gegenüber dem Basemodell bei 31 % weniger überwachten Token als ein vergleichbarer Einzelagenten-Ansatz.
- •Die Übereinstimmung des Modells mit starken externen Bewertern stieg über die Zyklen von 73 % auf 93 %, was darauf hindeutet, dass sich die Fähigkeiten von Bewerter und Optimierer gemeinsam mit der Aufgabenleistung verbessern.
- •Ablationen zeigten, dass der Optimierer und nicht der Bewerter der Engpass sein kann, und die Autoren warnen, dass gemeinsame blinde Flecken in homogenen Schleifen dazu führen könnten, dass fehlerhafte Ergebnisse verstärkt werden – unabhängige Verifikation ist daher unerlässlich.
Sakana AI hat in Zusammenarbeit mit Forschern der UC Berkeley Multi-Agent Self-Supervision (MASS) vorgestellt, ein Framework, das es KI-Systemen ermöglichen soll, sich weiter zu verbessern, selbst wenn Aufgaben zu komplex werden, als dass Menschen sie zuverlässig bewerten könnten.
Sakana AI ist ein in Tokio ansässiges Forschungslabor, das 2023 von ehemaligen Google-Forschern gegründet wurde, darunter Llion Jones, Koautor der Arbeit von 2017, die die Transformer-Architektur einführte, die einem Großteil der heutigen KI zugrunde liegt. Den Namen verdankt das Labor dem japanischen Wort für Fisch – eine Anspielung auf das Schwarmverhalten, die zum Framing der kollektiven Intelligenz der neuen Arbeit passt: rekursive Selbstverbesserung durch Teams von Agenten.
Die Arbeit adressiert ein wachsendes Problem der KI-Entwicklung: Wenn Modelle über das akkumulierte Wissen der Menschheit hinausgehen, können menschliche Experten deren Ergebnisse möglicherweise nicht mehr beurteilen oder anleiten. MASS geht dies an, indem es das Modell zu seinem eigenen Optimierer und Bewerter macht – eine Form homogener rekursiver Selbstverbesserung, bei der jeder Agent in der Schleife eine Kopie desselben zugrunde liegenden Modells ist – und versucht dabei, die Falle zu vermeiden, dass ein System seine eigenen blinden Flecken verstärkt.
Das Framework wechselt zwischen zwei Schleifen. In der inneren Schleife organisiert das Modell Kopien seiner selbst zu einem Team virtueller Subagenten, das von einem schriftlichen Workflow gesteuert wird, der die Rolle jedes Suben, dessen Anweisungen, Verträge darüber, welche Informationen ausgetauscht werden müssen, und die Reihenfolge der Aufrufe festlegt. Ein Orchestrator führt den Workflow aus, ein Bewerter vergleicht die Ergebnisse mit dem aktuellen Champion, und ein Optimierer schlägt Revisionen vor. In der äußeren Schleife werden die leistungsstärksten Multi-Agenten-Trajektorien durch Fine-Tuning zurück in die Gewichte des gemeinsamen Modells destilliert, wonach das aktualisierte Modell alle drei Rollen wieder übernimmt und der Zyklus von Neuem beginnt.
Nach zwei vollen Zyklen, ausgehend von einem Open-Weights-Modell mit 27B Parametern, erreichte die Leistung, gemessen als Score pro Ausgabe-Token – eine compute-normalisierte Sicht auf die Fähigkeiten – das 1,2- bis 1,6-Fache des Niveaus des Basemodells über Forschungsbenchmarks hinweg, darunter MLR-Bench, ScienceAgentBench, DSBench und AstaBench, wobei die Zuwächse durch externe Bewerter bestätigt wurden, die vom Trainingsprozess ferngehalten wurden.
Introducing Multi-Agent Self-Supervision (MASS): Recursive self-improvement through collective intelligence Blog: As AI systems tackle increasingly open-ended research problems, human experts may struggle to assess results and guide further progress. The… pic.twitter.com/OWjbfIOEsy
— Sakana AI (@SakanaAILabs) October 11, 2026
Zentrale Erkenntnisse: Dichte Signale, Rollengeneralisierung und neue Engpässe
Die Forscher berichten von drei Hauptergebnissen. Erstens ermöglicht MASS eine Rollengeneralisierung: Das Training ausschließlich auf aufgabenlösenden Trajektorien verbesserte nicht nur den Executor, sondern auch den Workflow-Optimierer und den Bewerter, wobei die Übereinstimmung zwischen den Urteilen des Modells und starken externen Bewertern über die Zyklen hinweg von 73 % auf 93 % stieg. Das deutet darauf hin, dass sich die Selbstverbesserungsschleife selbst tragen kann, da sich die Fähigkeiten zur Erzeugung und Auswahl künftiger Trainingsdaten gemeinsam mit der Aufgabenleistung verbessern.
Zweitens erwiesen sich Multi-Agenten-Trajektorien als deutlich effizientere Trainingsdaten als Einzelagenten-Trajektorien. Das Modell erreichte eine Gewinnquote von 68,3 % gegenüber dem Basemodell und verwendete dabei 31 % weniger überwachte Token als ein vergleichbarer Einzelagenten-Ansatz – ein Beleg dafür, dass das gemeinsame Erlernen hochrangiger Orchestrierung von Orchestratoren und begrenzter Ausführung von Subagenten ein dichteres Lernsignal pro Token liefert.
Drittens, und vielleicht am meisten kontraintuitiv, zeigten Ablationen, dass der Engpass bei der rekursiven Selbstverbesserung der Optimierer sein kann und nicht der Bewerter. Der alleinige Austausch gegen ein stärkeres externes Modell als Bewerter brachte wenig, doch das Aufrüsten sowohl des Bewerters als auch des Optimierers ermöglichte es dem System, für alle 12 Testaufgaben innerhalb von fünf Iterationen erfolgreiche Workflows zu finden, verglichen mit 11 von 12 für die vollständig homogene Schleife, die schlicht länger brauchte.
Die Analyse der evolutionär entwickelten Workflows zeigte, dass effektive Koordination aufgabenspezifische Informationen in Verträge und Aufrufreihenfolge verlagert – also darin, wie Agenten Informationen austauschen und verifizieren – und nicht in die Rollen. Die Autoren betonen auch die sicherheitsrelevanten Implikationen: In einer homogenen Schleife könnten gemeinsame blinde Flecken dazu führen, dass fehlerhafte Ergebnisse als Fortschritt akzeptiert und durch Training verstärkt werden, was unabhängige Verifikationsmechanismen unerlässlich macht, wenn sich die Fähigkeiten zur Selbstverbesserung weiterentwickeln.
