Un consortium allemand d’IA lance Soofi S, un modèle ouvert de 30B qui domine les benchmarks en anglais et en allemand

Un consortium de recherche allemand coordonné par le KI Bundesverband (German AI Association) a publié Soofi S 30B-A3B, un modèle de langage open source entraîné entièrement sur l’Industrial AI Cloud de Deutsche Telekom à Munich. Selon son rapport de préentraînement, le modèle obtient les meilleurs scores dans les benchmarks en anglais et en allemand parmi les modèles entièrement ouverts, dépassant d’anciens leaders comme OLMo 3 32B de l’Allen Institute for AI et Apertus 70B de l’ETH Zurich et de l’EPFL.

Le modèle utilise une architecture hybride économe en ressources qui n’active que 3,2 de ses 31,6 milliards de paramètres par token généré, ce qui maintient une vitesse de traitement presque constante même avec des entrées très longues. L’accent délibéré mis sur les données d’entraînement en allemand — jusqu’à 15,3 % du mélange d’entraînement lors de la deuxième phase — donne à Soofi S un avantage marqué dans les tâches en allemand, tout en conservant des performances compétitives en anglais. Cette combinaison répond à une lacune récurrente des projets européens d’IA : égaler les performances internationales des modèles à poids ouverts tout en documentant suffisamment les méthodes d’entraînement, l’infrastructure et les sources de données pour permettre un examen externe.

Incident de contamination révélé dans le rapport mis à jour (24 juillet 2026)

Le 24 juillet 2026, le consortium a publié la version 3.0 de son rapport de préentraînement et documenté un incident de contamination des données découvert par la communauté dans les données d’entraînement rendues publiques après la publication initiale. Le problème concernait le jeu de données QA-base, qui devait contenir uniquement des partitions d’entraînement reformulées issues de 25 benchmarks standards — des questions d’entraînement destinées à apprendre au modèle les formats de test, et non les questions de test elles-mêmes.

Cependant, le jeu de données incluait aussi des questions reformulées provenant de l’ensemble de test du benchmark scientifique GPQA, y compris la variante GPQA Diamond, à la fois en anglais et en allemand traduit automatiquement. Le rapport attribue la cause première à une particularité structurelle de GPQA sur Hugging Face : le benchmark ne dispose pas d’un ensemble d’entraînement distinct, et tout son matériel de test est placé sous l’étiquette par défaut "train." Comme le pipeline de données sélectionnait le contenu selon les noms de partitions, l’ensemble de test a été involontairement mélangé aux questions d’entraînement.

Un audit complet déclenché par cette découverte a mis au jour trois autres benchmarks présentant le même schéma d’étiquetage — TruthfulQA, BLiMP et Inverse Scaling — bien qu’aucun d’entre eux ne soit utilisé dans l’évaluation de Soofi-S. En réponse, le consortium a entièrement retiré GPQA de sa suite d’évaluation et recalculé les résultats globaux pour les 16 modèles comparés. Selon les auteurs, l’ordre du classement est resté inchangé.

Fait notable, personne n’a détecté le problème pendant l’entraînement. Le modèle s’est bien amélioré régulièrement sur les tâches GPQA concernées, passant de 32,3 à 43,4 points, mais ce gain se situait dans la plage normale et ne se distinguait pas des progrès observés sur d’autres tests — aucun pic soudain n’aurait pu servir de signal d’alerte. Désormais, l’équipe vérifie automatiquement toutes les données d’entraînement par rapport aux questions de test, plutôt que de s’appuyer sur des étiquettes de partitions potentiellement trompeuses.

Nicolas Flores Herr, participant au projet chez Fraunhofer IAIS, a présenté l’incident comme une preuve que l’approche ouverte fonctionne, en soulignant que la communauté n’aurait pu identifier le problème que parce que les données étaient accessibles publiquement. L’équipe a mis à disposition environ 152 000 résultats individuels à des fins de vérification. Une évaluation distincte menée par Ellamind, partenaire du consortium, avec ses propres données de test volontairement gardées confidentielles et que le modèle était garanti ne pas avoir vues pendant l’entraînement, a confirmé les résultats. Le consortium indique que la partie affectée ne représente qu’une fraction minime du corpus total.

Les variantes instruct et raisonnement affinées font actuellement l’objet de tests bêta et devraient être publiées sous une licence permissive dans les prochaines semaines. Le modèle plus grand Soofi L est déjà en cours d’entraînement.

Réponse aux accusations de surentraînement (15 juillet 2026)

Après le lancement, des critiques ont affirmé que Soofi S était fortement "surentraîné" au regard des lois d’échelle Chinchilla classiques, publiées par Google DeepMind en 2022. Ces lois décrivent comment équilibrer la taille d’un modèle et les données d’entraînement pour un budget de calcul fixe, en identifiant un point optimal d’environ 20 tokens par paramètre.

Soofi S dépasse largement ce ratio. Avec environ 27 billions de tokens et 30 milliards de paramètres, le ratio atteint plusieurs centaines pour un. Si l’on ne tient compte que des 3,2 milliards de paramètres actifs par token, le ratio passe à plusieurs milliers pour un.

Michael Fromm, membre de la direction technique du projet, a contesté cette critique, en affirmant que ces règles ne s’appliquent pas directement aux architectures Mixture-of-Experts (MoE). "There's new research showing that the old scaling laws from dense models no longer apply to MoE architectures," a déclaré Fromm. Il a expliqué que les experts individuels tirent avantage de voir les mêmes documents à plusieurs reprises, de sorte que les données dupliquées dans un grand jeu de données de haute qualité posent moins de problèmes qu’avec des modèles denses. À titre de comparaison, Fromm a noté que Nvidia avait entraîné ses propres modèles sur jusqu’à 25 billions de tokens.

Une architecture légère conçue pour les longs contextes

Soofi S est un modèle mixture-of-experts contenant 31,6 milliards de paramètres au total, mais n’en activant qu’environ 3,2 milliards par token généré. Son coût de calcul se rapproche donc davantage de celui d’un modèle 3B que d’un modèle 30B classique. Le consortium a adopté sans modification l’architecture Nemotron 3 Nano de Nvidia — une conception hybride combinant des couches Mamba-2 et des couches d’attention standards.

La différence essentielle avec les transformers typiques réside dans le comportement mémoire. Dans les modèles conventionnels, le cache KV qui stocke les tokens précédents pour le calcul de l’attention augmente linéairement avec la longueur du contexte, ce qui devient un goulot d’étranglement avec des entrées longues et de nombreuses requêtes parallèles. Seules 6 des 52 couches de Soofi S maintiennent un tel cache.

Le bénéfice pratique apparaît dans le débit de génération. Avec une longueur de contexte de 40 000 tokens et 32 requêtes parallèles, Soofi S génère environ huit fois plus de tokens par seconde et par GPU que des modèles denses dans la plage de 14 à 24 milliards de paramètres. Alors que le débit des modèles conventionnels baisse nettement lorsque le contexte s’allonge, celui de Soofi S reste presque stable de 4 000 à 256 000 tokens. Le seul modèle affichant un comportement similaire dans les mesures est Qwen3.5 35B-A3B d’Alibaba, qui utilise également une architecture hybride.

Un mélange d’entraînement centré sur l’allemand

Le consortium a traité environ 27 billions de tokens en trois phases. Lors de la première phase, le modèle a appris les fondamentaux du langage à partir d’environ 20 billions de tokens provenant d’un large mélange de textes web, de code, de mathématiques et de contenus spécialisés par domaine. Une deuxième phase a suivi avec environ 6 billions de tokens issus de sources de meilleure qualité, destinés à affiner les schémas appris précédemment. Une troisième phase plus courte a ensuite étendu la fenêtre de contexte grâce à un entraînement sur de très longs documents pouvant atteindre un million de tokens.

L’accent volontaire mis sur l’allemand est central dans la conception. Lors de la première phase, l’allemand représente 7,2 % du mélange d’entraînement ; lors de la deuxième phase, cette part monte à 15,3 %. À titre de comparaison, dans la recette de référence Nemotron de Nvidia, l’ensemble des langues autres que l’anglais ne représente qu’environ 5 %. Pour les entreprises et les utilisateurs du secteur public germanophones, cet équilibre des données est pertinent, car de nombreux flux de travail techniques, juridiques, administratifs et de service client reposent sur un langage de domaine qui est mal représenté dans les corpus centrés sur l’anglais.

Pour les sources de données, le consortium a combiné des textes web allemands issus de HPLT, le corpus German Commons sous licence ouverte, des parties allemandes de FinePDFs et FineWiki, ainsi que le corpus Genios sous licence commerciale, contenant 193 millions d’articles de presse provenant de 916 publications allemandes. Des textes allemands traduits automatiquement et générés synthétiquement complètent le mélange.

Résultats de benchmark en allemand, en anglais et en code

Dans les évaluations face à 16 autres modèles ouverts, Soofi S arrive en tête de tous les modèles entièrement ouverts sur les scores agrégés en allemand et en anglais, selon le rapport. Face à chaque référence européenne souveraine, le modèle prend l’avantage sur tous les benchmarks allemands de la suite, parfois avec des marges à deux chiffres.

Sur les benchmarks de code, Soofi S obtient 73,8 % sur HumanEval, 70,2 sur MBPP et 84,2 sur la variante allemande de MBPP — les meilleurs résultats parmi ses pairs open source. Sur INCLUDE-DE, un test de connaissances régionales propres à l’Allemagne, Soofi S partage la première place avec le modèle plus grand Qwen3.5 35B-A3B, à 61,2 points. Par rapport à la référence Nemotron, la recette de données allemandes améliore la compétence linguistique de 15,1 points et le test scientifique GPQA-Diamond de 9,6 points, sans sacrifier les performances en anglais.

Soofi S est moins performant dans certains domaines. En mathématiques de compétition allemandes, il obtient 56 points sur Minerva MATH-DE, nettement derrière Qwen3.5 35B-A3B (76,5) et Gemma 3 27B (65,6). Il accuse également un retard en récupération factuelle ouverte sur NaturalQuestions, probablement lié au fait qu’il ne dispose que de 3 milliards de paramètres actifs, capables de stocker moins de connaissances générales qu’un modèle dense 27B.

Le test de long contexte RULER a révélé une faiblesse spécifique : lorsque le modèle doit extraire des mots apparaissant fréquemment dans un long texte, le taux de réussite de Soofi S tombe à environ 3 % au-delà de 32 000 tokens de contexte, tandis que le modèle Nemotron comparable atteint encore 60 à 64 %. Les auteurs attribuent ce résultat au fait que leurs données d’entraînement en long contexte contiennent de nombreux documents longs, mais manquent de données synthétiques conçues spécifiquement pour les tâches d’extraction. Sur les douze autres tâches RULER, les deux modèles affichent des performances comparables.

Infrastructure souveraine et ouverture documentée

L’entraînement s’est déroulé entre mars et mai sur jusqu’à 512 GPU Nvidia B200 dans l’Industrial AI Cloud de Deutsche Telekom à Munich, pour un total d’environ 253 000 heures-GPU. Selon le rapport, l’installation fonctionne entièrement à l’énergie renouvelable, est refroidie avec l’eau du canal Eisbach et réinjecte la chaleur résiduelle dans le quartier voisin de Tucherpark. Soofi S faisait partie des premiers grands entraînements réalisés sur cette infrastructure.

Le consortium à l’origine de Soofi réunit des institutions de recherche et des entreprises allemandes, sous la coordination de la German AI Association et avec un financement du ministère fédéral allemand de l’Économie et de l’Énergie dans le cadre du programme européen IPCEI-CIS. Les participants comprennent les instituts Fraunhofer IAIS et IIS, le German Research Center for Artificial Intelligence (DFKI), la TU Darmstadt, l’Université de Würzburg, le L3S Research Center, la Berlin University of Applied Sciences, ainsi que les entreprises d’IA Ellamind et Merantix Momentum. L’objectif du projet est de construire une famille européenne ouverte de modèles d’IA pouvant fonctionner sur une infrastructure souveraine et être testée dans des applications industrielles.

Les chercheurs publient les poids du modèle ainsi que certains checkpoints intermédiaires, le code complet d’entraînement et d’évaluation, et un inventaire détaillé des données indiquant les nombres bruts de tokens, les nombres d’époques et les contributions effectives par source. Les sources examinées puis exclues sont également documentées. Selon l’équipe, cela signifie que Soofi S respecte l’Open Source AI Definition 1.0 de l’Open Source Initiative.

Une proposition plus stricte de définition européenne des données ouvertes, qui exigerait que chaque token d’entraînement soit librement redistribuable, n’est pas satisfaite en raison de la part de 1,3 % de données Genios sous licence commerciale. Le rapport indique qu’environ 99 % du mélange d’entraînement peut être reconstruit de façon indépendante. La licence exacte de publication du modèle n’a pas encore été finalisée.

Comme l’écrit Michael Fromm, responsable technique, Soofi S se positionne entre les projets européens souverains largement multilingues comme EuroLLM ou Teuken, qui couvrent de nombreuses langues, et les modèles internationaux à poids ouverts les plus performants. Selon le site du projet, le consortium recherche des partenaires industriels pour la prochaine phase afin de tester le modèle dans des applications impliquant des documents techniques, la génération de code et des systèmes à base d’agents.