ドイツAIコンソーシアムがSoofi Sを公開——英語・ドイツ語の両ベンチマークでトップを獲得するオープン30Bモデル

KI Bundesverband（ドイツAI協会）が主導するドイツの研究コンソーシアムは、Soofi S 30B-A3Bを公開しました。これはミュンヘンのDeutsche TelekomインダストリアルAIクラウドで完全に訓練されたオープンソース言語モデルです。事前訓練レポートによると、このモデルは完全オープンモデルの中で英語およびドイツ語の両ベンチマークにおいて最高スコアを達成し、Allen Institute for AIのOLMo 3 32BやETH Zurich・EPFLのApertus 70Bなど先行モデルを上回りました。

このモデルは、生成トークンあたり31.6Bのパラメータのうち3.2Bのみを活性化するリソース効率の高いハイブリッドアーキテクチャを採用しており、入力が非常に長い場合でも処理速度をほぼ一定に保ちます。ドイツ語訓練データへの意図的な重点配置——第2フェーズでは訓練ミックスの最大15.3パーセントを占める——により、Soofi Sはドイツ語タスクで強力な優位性を持ちつつ、英語での競合力ある性能も維持しています。この組み合わせは、ヨーロッパのAIプロジェクトにおける継続的な課題に対処するものです。すなわち、国際的なオープンウェイトモデルの性能に匹敵しつつ、外部からの精査が可能なほど詳細に訓練手法、インフラストラクチャ、データソースを文書化することです。

更新レポートで開示されたデータ混入インシデント（2026年7月24日）

2026年7月24日、コンソーシアムは事前訓練レポートのバージョン3.0を公開し、初期リリース後にコミュニティが公開訓練データ内で発見したデータ混入インシデントを文書化しました。問題はQA-baseデータセットに影響を与えました。このデータセットは25の標準ベンチマークから再構成された訓練スプリットのみを含むことを意図したものであり、実際のテスト問題ではなく、モデルにテスト形式を教えるための練習問題でした。

しかし、データセットには科学ベンチマークGPQAのテストセットからの再構成された問題も含まれており、GPQA Diamondバリアントも英語および機械翻訳されたドイツ語で含まれていました。レポートは根本原因をHugging Face上のGPQAの構造的な特異性に求めています。このベンチマークには個別の訓練セットがなく、すべてのテスト素材がデフォルトラベル「train」の下に置かれています。データパイプラインがスプリット名に基づいてコンテンツを選択したため、テストセットが意図せず練習問題に混入していました。

この発見を受けて実施された全面監査では、同じラベリングパターンを持つ追加の3つのベンチマーク（TruthfulQA、BLiMP、Inverse Scaling）も検出されましたが、これらはSoofi-S評価では使用されていません。対応として、コンソーシアムはGPQAを評価スイートから完全に除外し、比較対象の全16モデルの総合結果を再計算しました。著者らによると、ランキングの順序は変更されませんでした。

注目すべきは、訓練中に誰も問題を発見しなかったことです。モデルは影響を受けたGPQAタスクで着実に改善し、32.3ポイントから43.4ポイントへ上昇しましたが、その向上は正常範囲内にあり、他のテストの進捗と区別がつきませんでした。警告信号となるような突然のスパイクはありませんでした。今後、チームは誤解を招きやすいスプリットラベルに依存するのではなく、すべての訓練データをテスト問題と自動的に照合するようになりました。

Fraunhofer IAISのプロジェクト参加者Nicolas Flores Herrは、このインシデントをオープンアプローチが機能している証拠として挙げ、データが公開されていたからこそコミュニティが問題を特定できたと指摘しました。チームは検証用に約152,000件の個別結果を公開しています。コンソーシアムパートナーのEllamindによる別途評価で、モデルの訓練中に確実に遭遇していない意図的に保有された独自のテストデータを使用して結果が確認されました。コンソーシアムは、影響を受けた部分がコーパス全体のごく一部にすぎないと述べています。

ファインチューニングされたinstruct版およびreasoning版のバリアントは現在ベータテスト中であり、今後数週間以内に寛容なライセンスの下でリリースされる予定です。より大型のSoofi Lモデルはすでに訓練が進められています。

過剰訓練の批判に対する対応（2026年7月15日）

リリース後、批評家らはSoofi Sが古典的なChinchillaスケーリング則の基準では大きく「過剰訓練」されていると主張しました。この法則はGoogle DeepMindが2022年に発表したもので、固定計算予算に対してモデルサイズと訓練データのバランスをどう取るかを記述し、パラメータあたり約20トークンという最適値を特定しました。

Soofi Sはこの比率を大幅に超えています。約27兆トークンと300億パラメータで、比率は数百対1となります。トークンあたりに活性化する3.2Bのパラメータのみを考慮すると、比率は数千対1に跳ね上がります。

プロジェクトの技術リーダーシップの一員であるMichael Frommは、この批判に反論し、そうしたルールはMixture-of-Experts（MoE）アーキテクチャには直接適用できないと主張しました。「Denseモデルの古いスケーリング則はMoEアーキテクチャにはもはや適用されないことを示す新しい研究がある」とFrommは述べました。彼は、個々のエキスパートは同じ文書を繰り返し見ることで恩恵を受けるため、大規模で高品質なデータセットにおける重複データはDenseモデルの場合ほど問題にならないと説明しました。比較として、FrommはNvidiaが最大25兆トークンで自社モデルを訓練したことに言及しました。

ロングコンテキストに最適化されたスリムなアーキテクチャ

Soofi SはMixture-of-Expertsモデルであり、合計31.6Bのパラメータを含みますが、生成トークンあたり約3.2Bのみを活性化します。これにより計算コストは従来の30Bモデルよりも3Bモデルに近くなります。コンソーシアムはNvidiaのNemotron 3 Nanoのアーキテクチャを変更なく採用しました。これはMamba-2レイヤーと標準的なアテンションレイヤーを組み合わせたハイブリッド設計です。

一般的なトランスフォーマーとの決定的な違いはメモリの挙動にあります。従来型モデルでは、アテンション計算のために前のトークンを保存するKVキャッシュがコンテキスト長に比例して増大し、長い入力と多数の並列リクエストの下でボトルネックとなります。Soofi Sの52レイヤーのうち、こうしたキャッシュを維持するのはわずか6レイヤーのみです。

実用上のメリットは生成スループットに現れています。コンテキスト長40,000トークン、32の並列リクエストの条件下で、Soofi Sは140億〜240億パラメータクラスのDenseモデルと比較して、GPUあたり毎秒約8倍のトークンを生成します。従来型モデルではコンテキストが長くなるにつれてスループットが大幅に低下するのに対し、Soofi Sは4,000〜256,000トークンの範囲でほぼフラットに保たれます。計測で同様の挙動を示した唯一のモデルは、AlibabaのQwen3.5 35B-A3Bであり、こちらもハイブリッドアーキテクチャを使用しています。

ドイツ語を中心とした訓練ミックス

コンソーシアムは3つのフェーズにわたり約27兆トークンを処理しました。第1フェーズでは、Web、コード、数学、ドメイン固有テキストの幅広いミックスから抽出した約20兆トークンにより言語の基礎を学習しました。第2フェーズでは約6兆トークンのより高品質なソースを使用し、先行フェーズで学習したパターンを洗練させました。より短い第3フェーズでは、最大100万トークンの非常に長い文書で訓練することにより、コンテキストウィンドウを拡張しました。

ドイツ語への意図的な重点は設計の核です。第1フェーズではドイツ語が訓練ミックスの7.2パーセントを占め、第2フェーズではその割合が15.3パーセントに上昇します。比較として、NvidiaのNemotronリファレンスレシピでは、英語以外のすべての言語を合計しても約5パーセントにすぎません。ドイツ語圏の企業や公共部門のユーザーにとって、このデータバランスは重要です。多くの技術、法務、行政、カスタマーサービスのワークフローが、英語中心のコーパスでは十分に表現されていないドメイン言語に依存しているからです。

データソースについては、コンソーシアムはHPLTのドイツ語Webテキスト、オープンライセンスのGerman Commonsコーパス、FinePDFsおよびFineWikiのドイツ語部分、916のドイツ語出版物からの1億9300万件の新聞記事を含む商用ライセンスのGeniosコーパスを組み合わせました。機械翻訳および合成生成されたドイツ語テキストがミックスを補完しました。

ドイツ語・英語・コードのベンチマーク結果

レポートによると、16のオープンモデルとの評価において、Soofi Sはドイツ語および英語の両方の総合スコアですべての完全オープンモデルをリードしています。すべてのヨーロッパの主権ベースラインに対して、このモデルはスイート内のすべてのドイツ語ベンチマークで上位に立ち、二桁の差をつけるケースもあります。

コードベンチマークでは、Soofi SはHumanEvalで73.8パーセント、MBPPで70.2パーセント、ドイツ語版MBPPバリアントで84.2パーセントを獲得し、オープンソースの同等モデルの中で最高の結果を記録しました。ドイツ固有の地域知識を測るテストINCLUDE-DEでは、Soofi Sはより大型のQwen3.5 35B-A3Bと並んで61.2ポイントで1位タイになりました。Nemotronベースラインと比較して、ドイツ語データレシピは言語能力を15.1ポイント、科学テストGPQA-Diamondを9.6ポイント向上させ、英語性能を犠牲にしませんでした。

Soofi Sは一部の領域で劣ります。ドイツ語の競技数学ではMinerva MATH-DEで56ポイントを獲得し、Qwen3.5 35B-A3B（76.5）やGemma 3 27B（65.6）に大きく遅れをとっています。NaturalQuestionsのオープンな事実検索でも遅れており、これは活性化パラメータがわずか30億であることに関連している可能性があり、Dense 27Bモデルよりも蓄積できる世界知識が少なくなります。

RULERロングコンテキストテストは特定の弱点を明らかにしました。モデルが長いテキストから頻出単語を抽出する必要がある場合、Soofi Sのヒット率はコンテキスト32,000トークンを超えると約3パーセントに低下しますが、比較対象のNemotronモデルは依然として60〜64パーセントを維持しています。著者らはこれを、ロングコンテキストの訓練データには多数の長文書が含まれているものの、抽出タスク向けに設計された合成データが欠如していることに起因すると述べています。残りの12のRULERタスクでは両モデルは同等の性能を示しました。

主権インフラと文書化されたオープン性

訓練は3月から5月にかけて、ミュンヘンのDeutsche TelekomのインダストリアルAIクラウドで最大512台のNvidia B200 GPUを使用して実施され、合計約253,000 GPU時間を要しました。レポートによると、施設は再生可能エネルギーで完全に稼働し、Eisbach運河の水で冷却され、余剰熱を周辺のTucherpark地区に供給しています。Soofi Sはこのインフラ上で最初の主要な訓練実行の一つでした。

Soofiの背後にあるコンソーシアムは、German AI Associationが主導し、ヨーロッパのIPCEI-CISプログラムの一環としてドイツ連邦経済・エネルギー省の資金提供を受けるドイツの研究機関と企業で構成されています。参加機関にはFraunhofer Institutes IAISおよびIIS、German Research Center for Artificial Intelligence（DFKI）、TU Darmstadt、University of Würzburg、L3S Research Center、Berlin University of Applied Sciences、AI企業のEllamindおよびMerantix Momentumが含まれます。プロジェクトの目標は、主権インフラ上で稼働し、産業アプリケーションでテスト可能なオープンなヨーロッパのAIモデルファミリーを構築することです。

研究者らはモデルウェイトおよび選択された中間チェックポイント、完全な訓練・評価コード、ソースごとの生のトークン数、エポック数、有効な貢献度を記載した詳細なデータインベントリを公開しています。レビューされたが除外されたソースも文書化されています。チームによると、これによりSoofi SはOpen Source InitiativeのOpen Source AI Definition 1.0を満たすとしています。

すべての訓練トークンが自由に配布可能であることを要件とする、より厳格なヨーロッパのオープンデータ定義の提案は満たされていません。これは商用ライセンスを持つGeniosデータが1.3パーセントの割合を占めるためです。レポートは訓練ミックスの約99パーセントが独立して再構築可能であると述べています。モデルリリースの正確なライセンスはまだ最終化されていません。

技術リーダーのMichael Frommが記すように、Soofi Sは多くの言語をカバーするEuroLLMやTeukenのような幅広い多言語ヨーロッパ主権プロジェクトと、最高性能の国際的オープンウェイトモデルとの中間に自らを位置づけています。プロジェクトのWebサイトによると、コンソーシアムは次のフェーズに向けて、技術文書、コード生成、エージェントベースのシステムを含むアプリケーションでモデルをテストする産業パートナーを探しています。