Sakana AI, en collaboration avec des chercheurs de UC Berkeley, a introduit Multi-Agent Self-Supervision (MASS), un cadre conçu pour permettre aux systèmes d'IA de continuer à s'améliorer même lorsque les tâches deviennent trop complexes pour être évaluées de manière fiable par des humains.

Sakana AI est un laboratoire de recherche basé à Tokyo, fondé en 2023 par d'anciens chercheurs de Google, dont Llion Jones, co-auteur de l'article de 2017 qui a introduit l'architecture Transformer sur laquelle repose une grande partie de l'IA actuelle. Le laboratoire tire son nom du mot japonais désignant le poisson — un clin d'œil au comportement de banc qui fait écho à l'approche d'intelligence collective du nouveau travail : l'auto-amélioration récursive grâce à des équipes d'agents.

Ce travail répond à un problème croissant du développement de l'IA : à mesure que les modèles dépassent les connaissances accumulées de l'humanité, les experts humains pourraient ne plus être en mesure de juger ou de guider leurs productions. MASS relève ce défi en faisant du modèle son propre optimiseur et son propre évaluateur — une forme d'auto-amélioration récursive homogène, dans laquelle chaque agent de la boucle est une copie du même modèle sous-jacent — tout en s'efforçant d'éviter le piège d'un système qui renforcerait ses propres angles morts.

Le cadre alterne entre deux boucles. Dans la boucle interne, le modèle organise des copies de lui-même en une équipe de sous-agents virtuels régie par un workflow écrit qui spécifie le rôle de chaque sous-agent, ses instructions, les contrats sur les informations à échanger et l'ordre des appels. Un orchestrateur exécute le workflow, un évaluateur compare les résultats au champion en place, et un optimiseur propose des révisions. Dans la boucle externe, les trajectoires multi-agents les plus performantes sont distillées dans les poids du modèle partagé via un fine-tuning, après quoi le modèle mis à jour reprend les trois rôles et le cycle se répète.

Après deux cycles complets à partir d'un modèle ouvert de 27 milliards de paramètres, les performances mesurées en score par token de sortie — une vue des capacités normalisée par le calcul — ont atteint 1,2 à 1,6 fois le niveau du modèle de base sur des benchmarks de recherche incluant MLR-Bench, ScienceAgentBench, DSBench et AstaBench, les gains étant confirmés par des juges externes tenus à l'écart du processus d'entraînement.

Introducing Multi-Agent Self-Supervision (MASS): Recursive self-improvement through collective intelligence Blog: As AI systems tackle increasingly open-ended research problems, human experts may struggle to assess results and guide further progress. The… pic.twitter.com/OWjbfIOEsy

— [Sakana AI (@SakanaAILabs)](https://x.com/SakanaAILabs/status/2109385006603006435?ref_src=twsrc%5Etfw October 11, 2026

Principaux résultats : signaux denses, généralisation des rôles et nouveaux goulots d'étranglement

Les chercheurs rapportent trois conclusions principales. Premièrement, MASS permet la généralisation des rôles : l'entraînement uniquement sur des trajectoires de résolution de tâches a amélioré non seulement l'exécutant, mais aussi l'optimiseur de workflow et l'évaluateur, la convergence entre les jugements du modèle et ceux de juges externes puissants passant de 73 % à 93 % au fil des cycles. Cela suggère que la boucle d'auto-amélioration peut s'auto-entretenir, puisque les capacités de production et de sélection des futures données d'entraînement progressent en même temps que les performances sur les tâches.

Deuxièmement, les trajectoires multi-agents se sont révélées bien plus efficaces comme données d'entraînement que les trajectoires mono-agent. Le modèle a atteint un taux de victoire de 68,3 % contre le modèle de base tout en utilisant 31 % de tokens supervisés en moins qu'une approche mono-agent comparable — la preuve que l'apprentissage conjoint de l'orchestration de haut niveau auprès des orchestrateurs et de l'exécution encadrée auprès des sous-agents fournit un signal d'apprentissage plus dense par token.

Troisièmement, et c'est peut-être le plus contre-intuitif, les ablations ont montré que le goulot d'étranglement de l'auto-amélioration récursive peut être l'optimiseur plutôt que l'évaluateur. Remplacer uniquement l'évaluateur par un modèle externe plus puissant a apporté peu d'amélioration, mais mettre à niveau à la fois l'évaluateur et l'optimiseur a permis au système de trouver des workflows gagnants pour les 12 tâches de test en cinq itérations, contre 11 sur 12 pour la boucle entièrement homogène, qui prenait simplement plus de temps.

L'analyse des workflows évolués a révélé que la coordination efficace déplace les informations propres aux tâches vers les contrats et l'ordre des appels — la manière dont les agents échangent et vérifient les informations — plutôt que vers les rôles. Les auteurs insistent également sur les implications en matière de sécurité : dans une boucle homogène, des angles morts partagés pourraient permettre à des résultats défectueux d'être acceptés comme des progrès et renforcés par l'entraînement, rendant indispensables des mécanismes de vérification indépendants à mesure que les capacités d'auto-amélioration progressent.