Deutsches KI-Konsortium veröffentlicht Soofi S, ein offenes 30B-Modell mit Spitzenwerten in englischen und deutschen Benchmarks

Ein vom KI Bundesverband (German AI Association) koordiniertes deutsches Forschungskonsortium hat Soofi S 30B-A3B veröffentlicht, ein Open-Source-Sprachmodell, das vollständig auf der Industrial AI Cloud der Deutschen Telekom in München trainiert wurde. Laut seinem Pretraining-Bericht erzielt das Modell unter vollständig offenen Modellen die höchsten Werte in englischen und deutschen Benchmarks und übertrifft frühere Spitzenreiter wie OLMo 3 32B vom Allen Institute for AI und Apertus 70B von ETH Zürich und EPFL.

Das Modell nutzt eine ressourceneffiziente hybride Architektur, die pro generiertem Token nur 3,2 seiner 31,6 Milliarden Parameter aktiviert und die Verarbeitungsgeschwindigkeit selbst bei sehr langen Eingaben nahezu konstant hält. Ein gezielter Schwerpunkt auf deutschen Trainingsdaten — mit einem Anteil von bis zu 15,3 Prozent des Trainingsmixes in der zweiten Phase — verschafft Soofi S einen deutlichen Vorteil bei deutschsprachigen Aufgaben, während die Leistung im Englischen wettbewerbsfähig bleibt. Diese Kombination adressiert eine wiederkehrende Lücke europäischer KI-Projekte: internationale Open-Weight-Leistung zu erreichen und zugleich Trainingsmethoden, Infrastruktur und Datenquellen so genau zu dokumentieren, dass eine externe Prüfung möglich ist.

Kontaminationsfall im aktualisierten Bericht offengelegt (24. Juli 2026)

Am 24. Juli 2026 veröffentlichte das Konsortium Version 3.0 seines Pretraining-Berichts und dokumentierte einen Fall von Datenkontamination, den die Community nach der ersten Veröffentlichung in den offengelegten Trainingsdaten entdeckt hatte. Das Problem betraf den QA-base-Datensatz, der eigentlich nur umformulierte Trainings-Splits aus 25 Standard-Benchmarks enthalten sollte — Übungsfragen, die dem Modell Testformate vermitteln sollten, nicht die eigentlichen Testfragen.

Der Datensatz enthielt jedoch auch umformulierte Fragen aus dem Testset des Wissenschafts-Benchmarks GPQA, einschließlich der Variante GPQA Diamond, sowohl auf Englisch als auch in maschinell übersetztem Deutsch. Der Bericht führt die Ursache auf eine strukturelle Besonderheit von GPQA auf Hugging Face zurück: Der Benchmark hat kein separates Trainingsset, und das gesamte Testmaterial befindet sich unter dem Standardlabel "train." Da die Datenpipeline Inhalte anhand dieser Split-Namen auswählte, wurde das Testset unbeabsichtigt mit den Übungsfragen vermischt.

Eine durch die Entdeckung ausgelöste vollständige Prüfung fand drei weitere Benchmarks mit demselben Label-Muster — TruthfulQA, BLiMP und Inverse Scaling —, von denen jedoch keiner in der Soofi-S-Evaluation verwendet wird. Als Reaktion entfernte das Konsortium GPQA vollständig aus der Evaluationssuite und berechnete die Gesamtergebnisse für alle 16 verglichenen Modelle neu. Laut den Autoren blieb die Rangfolge unverändert.

Auffällig ist, dass das Problem während des Trainings niemandem auffiel. Das Modell verbesserte sich bei den betroffenen GPQA-Aufgaben zwar kontinuierlich von 32,3 auf 43,4 Punkte, doch dieser Zuwachs lag im normalen Bereich und war nicht von Fortschritten bei anderen Tests zu unterscheiden — es gab keinen plötzlichen Sprung, der als Warnsignal hätte dienen können. Künftig gleicht das Team alle Trainingsdaten automatisch mit Testfragen ab, statt sich auf potenziell irreführende Split-Labels zu verlassen.

Projektbeteiligter Nicolas Flores Herr vom Fraunhofer IAIS verwies auf den Vorfall als Beleg dafür, dass der offene Ansatz funktioniert: Die Community habe das Problem nur identifizieren können, weil die Daten öffentlich verfügbar waren. Das Team hat rund 152.000 Einzelergebnisse zur Verifikation bereitgestellt. Eine separate Evaluation durch den Konsortialpartner Ellamind, die eigene bewusst zurückgehaltene Testdaten verwendete, die das Modell während des Trainings garantiert nicht gesehen hatte, bestätigte die Ergebnisse. Das Konsortium erklärt, der betroffene Anteil mache nur einen sehr kleinen Bruchteil des Gesamtkorpus aus.

Die feinabgestimmten Instruct- und Reasoning-Varianten befinden sich derzeit im Betatest und sollen in den kommenden Wochen unter einer freizügigen Lizenz veröffentlicht werden. Das größere Modell Soofi L befindet sich bereits im Training.

Reaktion auf Overtraining-Vorwürfe (15. Juli 2026)

Nach dem Start argumentierten Kritiker, Soofi S sei nach den Maßstäben der klassischen Chinchilla-Skalierungsgesetze, die Google DeepMind 2022 veröffentlichte, stark "overtrained". Diese Gesetze beschreiben, wie Modellgröße und Trainingsdaten bei einem festen Rechenbudget auszubalancieren sind, und identifizieren einen optimalen Bereich von rund 20 Tokens pro Parameter.

Soofi S liegt deutlich über diesem Verhältnis. Mit ungefähr 27 Billionen Tokens und 30 Milliarden Parametern ergibt sich ein Verhältnis von mehreren Hundert zu eins. Berücksichtigt man nur die 3,2 Milliarden pro Token aktiven Parameter, steigt das Verhältnis auf mehrere Tausend zu eins.

Michael Fromm, Teil der technischen Leitung des Projekts, wies diese Kritik zurück und argumentierte, dass sich diese Regeln nicht direkt auf Mixture-of-Experts-Architekturen (MoE) übertragen ließen. "There's new research showing that the old scaling laws from dense models no longer apply to MoE architectures," sagte Fromm. Er erläuterte, dass einzelne Experten davon profitieren, dieselben Dokumente wiederholt zu sehen; daher seien duplizierte Daten in einem großen, hochwertigen Datensatz weniger problematisch als bei dichten Modellen. Zum Vergleich verwies Fromm darauf, dass Nvidia eigene Modelle mit bis zu 25 Billionen Tokens trainiert habe.

Eine schlanke Architektur für lange Kontexte

Soofi S ist ein Mixture-of-Experts-Modell mit insgesamt 31,6 Milliarden Parametern, von denen pro generiertem Token jedoch nur etwa 3,2 Milliarden aktiviert werden. Damit liegen die Rechenkosten eher in der Nähe eines 3B-Modells als eines herkömmlichen 30B-Modells. Das Konsortium übernahm die Architektur von Nvidias Nemotron 3 Nano unverändert — ein hybrides Design, das Mamba-2-Schichten mit Standard-Attention-Schichten kombiniert.

Der entscheidende Unterschied zu typischen Transformern liegt im Speicherverhalten. In herkömmlichen Modellen wächst der KV-Cache, der frühere Tokens für die Attention-Berechnung speichert, linear mit der Kontextlänge und wird bei langen Eingaben und vielen parallelen Anfragen zum Engpass. Nur 6 der 52 Schichten von Soofi S unterhalten überhaupt einen solchen Cache.

Der praktische Nutzen zeigt sich beim Generierungsdurchsatz. Bei einer Kontextlänge von 40.000 Tokens und 32 parallelen Anfragen generiert Soofi S pro GPU ungefähr achtmal so viele Tokens pro Sekunde wie dichte Modelle im Bereich von 14 bis 24 Milliarden Parametern. Während der Durchsatz herkömmlicher Modelle mit wachsendem Kontext deutlich sinkt, bleibt Soofi S von 4.000 bis 256.000 Tokens nahezu konstant. Das einzige Modell, das in den Messungen ein ähnliches Verhalten zeigt, ist Alibabas Qwen3.5 35B-A3B, das ebenfalls eine hybride Architektur nutzt.

Ein Trainingsmix mit Schwerpunkt Deutsch

Das Konsortium verarbeitete über drei Phasen hinweg etwa 27 Billionen Tokens. In der ersten Phase lernte das Modell sprachliche Grundlagen aus rund 20 Billionen Tokens, die aus einer breiten Mischung von Web-, Code-, Mathematik- und domänenspezifischen Texten stammten. Eine zweite Phase folgte mit etwa 6 Billionen Tokens aus höherwertigen Quellen, um die zuvor gelernten Muster zu schärfen. Eine kürzere dritte Phase erweiterte anschließend das Kontextfenster durch Training auf sehr langen Dokumenten mit bis zu einer Million Tokens.

Der bewusste Fokus auf Deutsch ist ein zentraler Bestandteil des Designs. In der ersten Phase macht Deutsch 7,2 Prozent des Trainingsmixes aus; in der zweiten Phase steigt dieser Anteil auf 15,3 Prozent. Zum Vergleich: In Nvidias Nemotron-Referenzrezept entfallen auf alle nicht englischen Sprachen zusammen nur rund 5 Prozent. Für deutschsprachige Unternehmen und öffentliche Nutzer ist diese Datengewichtung relevant, weil viele technische, rechtliche, administrative und kundendienstbezogene Arbeitsabläufe von Fachsprache abhängen, die in englischzentrierten Korpora nicht ausreichend vertreten ist.

Bei den Datenquellen kombinierte das Konsortium deutsche Webtexte aus HPLT, den offen lizenzierten German-Commons-Korpus, deutsche Teile von FinePDFs und FineWiki sowie den kommerziell lizenzierten Genios-Korpus mit 193 Millionen Zeitungsartikeln aus 916 deutschen Publikationen. Maschinell übersetzte und synthetisch erzeugte deutsche Texte ergänzten den Mix.

Benchmark-Ergebnisse für Deutsch, Englisch und Code

In Evaluationen gegen 16 andere offene Modelle führt Soofi S laut Bericht alle vollständig offenen Modelle bei aggregierten Ergebnissen für Deutsch und Englisch an. Gegenüber jeder europäischen souveränen Baseline liegt das Modell in allen deutschen Benchmarks der Suite vorn, teils mit zweistelligen Abständen.

In Code-Benchmarks erreicht Soofi S 73,8 Prozent bei HumanEval, 70,2 bei MBPP und 84,2 bei der deutschen MBPP-Variante — die besten Ergebnisse unter Open-Source-Peers. Bei INCLUDE-DE, einem Test für deutschlandbezogenes regionales Wissen, teilt sich Soofi S mit dem größeren Qwen3.5 35B-A3B bei 61,2 Punkten den ersten Platz. Im Vergleich zur Nemotron-Baseline verbesserte das deutsche Datenrezept die Sprachkompetenz um 15,1 Punkte und den Wissenschaftstest GPQA-Diamond um 9,6 Punkte, ohne die englische Leistung zu beeinträchtigen.

In bestimmten Bereichen schneidet Soofi S schwächer ab. Bei deutscher Wettbewerbs-Mathematik erreicht es 56 Punkte auf Minerva MATH-DE und liegt damit deutlich hinter Qwen3.5 35B-A3B (76,5) und Gemma 3 27B (65,6). Auch bei offener faktischer Informationsabfrage in NaturalQuestions bleibt es zurück, was wahrscheinlich damit zusammenhängt, dass nur 3 Milliarden Parameter aktiv sind und daher weniger Weltwissen speichern können als ein dichtes 27B-Modell.

Der RULER-Langkontexttest zeigte eine spezifische Schwäche: Wenn das Modell häufig vorkommende Wörter aus einem langen Text extrahieren muss, fällt die Trefferquote von Soofi S jenseits von 32.000 Tokens Kontext auf rund 3 Prozent, während das vergleichbare Nemotron-Modell weiterhin 60 bis 64 Prozent erreicht. Die Autoren führen dies darauf zurück, dass ihre Langkontext-Trainingsdaten zwar viele lange Dokumente enthalten, aber keine synthetischen Daten, die gezielt für Extraktionsaufgaben entwickelt wurden. Bei den übrigen zwölf RULER-Aufgaben schneiden beide Modelle vergleichbar ab.

Souveräne Infrastruktur und dokumentierte Offenheit

Der Trainingslauf fand zwischen März und Mai auf bis zu 512 Nvidia B200 GPUs in der Industrial AI Cloud der Deutschen Telekom in München statt und umfasste insgesamt etwa 253.000 GPU-Stunden. Laut Bericht wird die Anlage vollständig mit erneuerbarer Energie betrieben, mit Wasser aus dem Eisbach gekühlt und speist Abwärme in das umliegende Tucherpark-Viertel ein. Soofi S gehörte zu den ersten großen Trainingsläufen auf dieser Infrastruktur.

Hinter Soofi steht ein Konsortium deutscher Forschungseinrichtungen und Unternehmen, koordiniert vom German AI Association und gefördert durch das Bundesministerium für Wirtschaft und Energie im Rahmen des europäischen IPCEI-CIS-Programms. Zu den Beteiligten zählen die Fraunhofer-Institute IAIS und IIS, das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), die TU Darmstadt, die Universität Würzburg, das L3S Research Center, die Berliner Hochschule für Technik sowie die KI-Unternehmen Ellamind und Merantix Momentum. Ziel des Projekts ist der Aufbau einer offenen europäischen KI-Modellfamilie, die auf souveräner Infrastruktur laufen und in industriellen Anwendungen getestet werden kann.

Die Forscher veröffentlichen Modellgewichte zusammen mit ausgewählten Zwischen-Checkpoints, den vollständigen Trainings- und Evaluationscode sowie ein detailliertes Dateninventar mit rohen Token-Zahlen, Epochenzahlen und effektiven Beiträgen pro Quelle. Auch geprüfte, aber ausgeschlossene Quellen werden dokumentiert. Nach Angaben des Teams erfüllt Soofi S damit die Open Source AI Definition 1.0 der Open Source Initiative.

Ein strengerer Vorschlag für eine europäische Open-Data-Definition, der verlangen würde, dass jedes einzelne Trainingstoken frei weiterverteilbar ist, wird wegen des 1,3-Prozent-Anteils kommerziell lizenzierter Genios-Daten nicht erfüllt. Der Bericht gibt an, dass etwa 99 Prozent des Trainingsmixes unabhängig rekonstruiert werden können. Die genaue Lizenz für die Veröffentlichung des Modells ist noch nicht finalisiert.

Wie der technische Leiter Michael Fromm schreibt, positioniert sich Soofi S zwischen breit mehrsprachigen europäischen Souveränitätsprojekten wie EuroLLM oder Teuken, die viele Sprachen abdecken, und den leistungsstärksten internationalen Open-Weight-Modellen. Laut Projektwebsite sucht das Konsortium für die nächste Phase Industriepartner, um das Modell in Anwendungen mit technischen Dokumenten, Codegenerierung und agentenbasierten Systemen zu testen.